1. 树叶云首页
  2. 技术资讯

Hadoop之完全分布式集群

运维••技术资讯

Hadoop之完全分布式集群

作者：kocdaniel 2019-09-26 15:43:52

开发

架构

分布式

Hadoop 首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

 首先准备三台客户机(hadoop102，hadoop103，hadoop104)，关闭防火墙，修改为静态ip和ip地址映射

[[278009]]

配置集群

编写集群分发脚本

  1. 创建一个远程同步的脚本xsync，并放到当前用户下新建的bin目录下，配置到PATH中，使得此脚本在任何目录下都可以执行
  2. 脚本实现
  1. [kocdaniel@hadoop102 ~]$ mkdir bin 
  2. [kocdaniel@hadoop102 ~]$ cd bin/ 
  3. [kocdaniel@hadoop102 bin]$ vim xsync 

在文件中编写如下脚本代码

  1. #!/bin/bash 
  2. #1 获取输入参数个数，如果没有参数，直接退出 
  3. pcount=$# 
  4. if((pcount==0)); then 
  5. echo no args; 
  6. exit; 
  7. fi 
  8.  
  9. #2 获取文件名称 
  10. p1=$1 
  11. fname=`basename $p1` 
  12. echo fname=$fname 
  13.  
  14. #3 获取上级目录到绝对路径 –P指向实际物理地址，防止软连接 
  15. pdir=`cd -P $(dirname $p1); pwd` 
  16. echo pdir=$pdir 
  17.  
  18. #4 获取当前用户名称 
  19. user=`whoami` 
  20.  
  21. #5 循环 
  22. for((host=103; host<105; host++)); do 
  23.         echo ------------------- hadoop$host -------------- 
  24.         rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 
  25. done 
  1. 修改脚本xsync具有执行权限，并调用脚本，将脚本复制到103和104节点
  1. [kocdaniel@hadoop102 bin]$ chmod 777 xsync 
  2. [kocdaniel@hadoop102 bin]$ xsync /home/atguigu/bin 

集群配置

1.集群部署规划

由于计算机配置有限，只能使用三台虚拟机，工作环境中根据需要规划集群

2.配置集群

切换到hadoop安装目录/etc/hadoop/

  • 配置core-site.xml
  1. [kocdaniel@hadoop102 hadoop]$ vim core-site.xml 
  2. # 在文件中写入如下内容 
  3. <!-- 指定HDFS中NameNode的地址 --> 
  4. <property> 
  5.     <name>fs.defaultFS</name> 
  6.       <value>hdfs://hadoop102:9000</value> 
  7. </property> 
  8.  
  9. <!-- 指定Hadoop运行时产生文件的存储目录 --> 
  10. <property> 
  11.         <name>hadoop.tmp.dir</name> 
  12.         <value>/opt/module/hadoop-2.7.2/data/tmp</value> 
  13. </property>
  • HDFS配置文件

配置hadoop-env.sh

  1. [kocdaniel@hadoop102 hadoop]$ vim hadoop-env.sh 
  2. export JAVA_HOME=/opt/module/jdk1.8.0_144 

export JAVA_HOME=/opt/module/jdk1.8.0_144

注意：我们已经在/etc/profile文件中配置了JAVA_HOME，这里为什么还需要配置JAVA_HOME?

答：因为Hadoop运行是守护进程(守护进程是一个在后台运行并且不受任何终端控制的进程。–摘自百度百科))，正是因为它后台运行，不接受任何终端控制，所以它读取不到我们配置好的环境变量，所以这里需要单独配置一下。

  • 配置hdfs-site.xml
  1. [kocdaniel@hadoop102 hadoop]$ vim hdfs-site.xml 
  2. # 写入如下配置 
  3. <!-- 配置副本数量为3，默认也为3，所以这个也可以删掉 --> 
  4. <property> 
  5.         <name>dfs.replication</name> 
  6.         <value>3</value> 
  7. </property> 
  8.  
  9. <!-- 指定Hadoop辅助名称节点主机配置 --> 
  10. <property> 
  11.       <name>dfs.namenode.secondary.http-address</name> 
  12.       <value>hadoop104:50090</value> 
  13. </property> 
  • YARN配置文件

配置yarn-env.sh

  1. [kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh 
  2. export JAVA_HOME=/opt/module/jdk1.8.0_144 

配置yarn-site.xml

  1. [kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml 
  2. # 增加如下配置 
  3. <!-- Reducer获取数据的方式 --> 
  4. <property> 
  5.         <name>yarn.nodemanager.aux-services</name> 
  6.         <value>mapreduce_shuffle</value> 
  7. </property> 
  8.  
  9. <!-- 指定YARN的ResourceManager的地址 --> 
  10. <property> 
  11.         <name>yarn.resourcemanager.hostname</name> 
  12.         <value>hadoop103</value> 
  13. </property> 
  • MapReduce配置文件

配置mapred-env.sh

  1. [kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh 
  2. export JAVA_HOME=/opt/module/jdk1.8.0_144 

配置mapred-site.xml

  1. # 如果是第一次配置的话，需要先将mapred-site.xml.template重命名为mapred-site.xml 
  2. [kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml 
  3. [kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml 
  4. # 在文件中增加如下配置 
  5. <!-- 指定MR运行在Yarn上 --> 
  6. <property> 
  7.         <name>mapreduce.framework.name</name> 
  8.         <value>yarn</value> 
  9. </property> 

3.将配置好的文件利用集群分发脚本同步到hadoop103和hadoop104节点

  1. [kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/ 
  • 最好在同步完成之后检查一下同步结果，避免错误

单点启动

1.如果是第一次启动，需要格式化namenode，否则跳过此步

  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format 
  • 格式化需要注意的问题：
  1. 只有第一次启动需要格式化，以后不要总是格式化，否则会出现namenode和datanode的集群id不一致的情况，导致datanode启动失败
  2. 正确的格式化姿势：
  • 在执行第一次格式化时会在hadoop安装目录下产生data文件夹，里面会生成namenode的信息
  • 在启动namenode和datanode后，还会在同样的目录下产生logs的日志文件夹
  • 所以在格式化之前需要先将这两个文件夹删除，然后再格式化，最后启动namenode和datanode

2.在hadoop102上启动namenode

  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode 
  2. [kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
  3. 3461 NameNode 

3.在hadoop102、hadoop103以及hadoop104上分别启动DataNode

  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
  2. [kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
  3. 3461 NameNode 
  4. 3608 Jps 
  5. 3561 DataNode 
  6. [kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
  7. [kocdaniel@hadoop103 hadoop-2.7.2]$ jps 
  8. 3190 DataNode 
  9. 3279 Jps 
  10. [kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
  11. [kocdaniel@hadoop104 hadoop-2.7.2]$ jps 
  12. 3237 Jps 
  13. 3163 DataNode 

4.访问hadoop102:50070查看结果

  • 但是以上单点启动有一个问题：

每次都一个一个节点启动，如果节点数增加到1000个怎么办?

配置ssh免密登录

1.配置ssh

ssh 另一个节点的ip 就可以切换到另一台机器，但是得输入密码

2.免密ssh配置

免密登录原理

  • 在配置namenode的主机hadoop102上生成私钥和公钥

切换目录到/home/用户名/.ssh/

  1. [kocdaniel@hadoop102 .ssh]$ ssh-keygen -t rsa 
  1. - 然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 
  2.  - 将公钥拷贝到要免密登录的目标机器上 
  3.  
  4.  ```shell 
  5.  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop103 
  6.  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop104 
  7.  # 注意：ssh访问自己也需要输入密码，所以我们需要将公钥也拷贝给102 
  8.  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop102 
  9.   
  10.  ``` 
  • 同样，在配置resourcemanager的主机hadoop103上执行同样的操作，然后就可以群起集群了

群起集群

1.配置slaves

  • 切换目录到：hadoop安装目录/etc/hadoop/
  • 在目录下的slaves文件中添加如下内容
  1. [kocdaniel@hadoop102 hadoop]$ vim slaves 
  2. # 注意结尾不能有空格，文件中不能有空行 
  3. hadoop102 
  4. hadoop103 
  5. hadoop104 
  • 同步所有节点的配置文件
  1. [kocdaniel@hadoop102 hadoop]$ xsync slaves 

2.启动集群

  • 同样，如果是第一次启动，需要格式化
  • 启动HDFS
  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh 
  2.  
  3. # 查看启动结果，和集群规划（配置文件中）的一致 
  4. [atguigu@hadoop102 hadoop-2.7.2]$ jps 
  5. 4166 NameNode 
  6. 4482 Jps 
  7. 4263 DataNode 
  8.  
  9. [atguigu@hadoop103 hadoop-2.7.2]$ jps 
  10. 3218 DataNode 
  11. 3288 Jps 
  12.  
  13. [atguigu@hadoop104 hadoop-2.7.2]$ jps 
  14. 3221 DataNode 
  15. 3283 SecondaryNameNode 
  16. 3364 Jps 
  • 启动YARN
  1. # 注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN 
  2. [kocdaniel@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 

3.web端查看相关信息

文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/301561.html<

赞 (0)
运维的头像运维
00
上一篇2025-05-24 09:36
下一篇 2025-05-24 09:38

相关推荐

  • 如何制作个人主题技术资讯

    个人主题怎么制作？

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程，无论是用于个人博客、作品集、社交媒体账号还是品牌形象，核心都是围绕“个人特色”展开，以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程，明确主题定位：找到个人特色的核心主题定位是所有工作的起点，需要先回答……

    运维的头像运维
    2025-11-20
    0
  • 如何管理社群营销技术资讯

    社群营销管理关键是什么？

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群，实现用户留存、转化和品牌传播，其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明：明确社群定位与目标社群管理的首要任务是精准定位，需明确社群的核心价值（如行业交流、产品使用指导、兴趣分享等）、目标用户画像……

    运维的头像运维
    2025-11-20
    0
  • 香港公司如何网站备案技术资讯

    香港公司网站备案需要什么材料？

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程，尤其需兼顾中国内地与香港两地的监管要求，由于香港公司注册地与中国内地不同，其网站若主要服务内地用户或使用内地服务器，需根据服务器位置、网站内容性质等，选择对应的备案路径（如工信部ICP备案或公安备案），以下从备案主体资格、流程步骤、材料准备、注意事项……

    运维的头像运维
    2025-11-20
    0
  • 如何企业上云推广技术资讯

    如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求，构建系统性、多维度的推广体系，以下从市场定位、策略设计、执行落地及效果优化四个维度，详细拆解企业上云推广的实践路径，精准定位：明确目标企业与核心价值企业上云并非“一刀切”的方案，需先锁定目标客户群体，提炼差异化价值主张，客户分层……

    运维的头像运维
    2025-11-20
    0
  • PS如何设计搜索框技术资讯

    PS设计搜索框的实用技巧有哪些？

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量，以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明，帮助打造符合需求的搜索框，设计前的规划明确使用场景：根据网站或APP的整体风格确定搜索框的调性，例如极简风适合细线条和纯色，科技感适合渐变和发光效果，电商类则可能需要突出搜索……

    运维的头像运维
    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注