1. 树叶云首页
  2. 技术资讯

Hadoop之完全分布式集群

管理••技术资讯

Hadoop之完全分布式集群

作者：kocdaniel 2019-09-26 15:43:52

开发

架构

分布式

Hadoop 首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

 首先准备三台客户机(hadoop102，hadoop103，hadoop104)，关闭防火墙，修改为静态ip和ip地址映射

[[278009]]

配置集群

编写集群分发脚本

  1. 创建一个远程同步的脚本xsync，并放到当前用户下新建的bin目录下，配置到PATH中，使得此脚本在任何目录下都可以执行
  2. 脚本实现
  1. [kocdaniel@hadoop102 ~]$ mkdir bin 
  2. [kocdaniel@hadoop102 ~]$ cd bin/ 
  3. [kocdaniel@hadoop102 bin]$ vim xsync 

在文件中编写如下脚本代码

  1. #!/bin/bash 
  2. #1 获取输入参数个数，如果没有参数，直接退出 
  3. pcount=$# 
  4. if((pcount==0)); then 
  5. echo no args; 
  6. exit; 
  7. fi 
  8.  
  9. #2 获取文件名称 
  10. p1=$1 
  11. fname=`basename $p1` 
  12. echo fname=$fname 
  13.  
  14. #3 获取上级目录到绝对路径 –P指向实际物理地址，防止软连接 
  15. pdir=`cd -P $(dirname $p1); pwd` 
  16. echo pdir=$pdir 
  17.  
  18. #4 获取当前用户名称 
  19. user=`whoami` 
  20.  
  21. #5 循环 
  22. for((host=103; host<105; host++)); do 
  23.         echo ------------------- hadoop$host -------------- 
  24.         rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 
  25. done 
  1. 修改脚本xsync具有执行权限，并调用脚本，将脚本复制到103和104节点
  1. [kocdaniel@hadoop102 bin]$ chmod 777 xsync 
  2. [kocdaniel@hadoop102 bin]$ xsync /home/atguigu/bin 

集群配置

1.集群部署规划

由于计算机配置有限，只能使用三台虚拟机，工作环境中根据需要规划集群

2.配置集群

切换到hadoop安装目录/etc/hadoop/

  • 配置core-site.xml
  1. [kocdaniel@hadoop102 hadoop]$ vim core-site.xml 
  2. # 在文件中写入如下内容 
  3. <!-- 指定HDFS中NameNode的地址 --> 
  4. <property> 
  5.     <name>fs.defaultFS</name> 
  6.       <value>hdfs://hadoop102:9000</value> 
  7. </property> 
  8.  
  9. <!-- 指定Hadoop运行时产生文件的存储目录 --> 
  10. <property> 
  11.         <name>hadoop.tmp.dir</name> 
  12.         <value>/opt/module/hadoop-2.7.2/data/tmp</value> 
  13. </property>
  • HDFS配置文件

配置hadoop-env.sh

  1. [kocdaniel@hadoop102 hadoop]$ vim hadoop-env.sh 
  2. export JAVA_HOME=/opt/module/jdk1.8.0_144 

export JAVA_HOME=/opt/module/jdk1.8.0_144

注意：我们已经在/etc/profile文件中配置了JAVA_HOME，这里为什么还需要配置JAVA_HOME?

答：因为Hadoop运行是守护进程(守护进程是一个在后台运行并且不受任何终端控制的进程。–摘自百度百科))，正是因为它后台运行，不接受任何终端控制，所以它读取不到我们配置好的环境变量，所以这里需要单独配置一下。

  • 配置hdfs-site.xml
  1. [kocdaniel@hadoop102 hadoop]$ vim hdfs-site.xml 
  2. # 写入如下配置 
  3. <!-- 配置副本数量为3，默认也为3，所以这个也可以删掉 --> 
  4. <property> 
  5.         <name>dfs.replication</name> 
  6.         <value>3</value> 
  7. </property> 
  8.  
  9. <!-- 指定Hadoop辅助名称节点主机配置 --> 
  10. <property> 
  11.       <name>dfs.namenode.secondary.http-address</name> 
  12.       <value>hadoop104:50090</value> 
  13. </property> 
  • YARN配置文件

配置yarn-env.sh

  1. [kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh 
  2. export JAVA_HOME=/opt/module/jdk1.8.0_144 

配置yarn-site.xml

  1. [kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml 
  2. # 增加如下配置 
  3. <!-- Reducer获取数据的方式 --> 
  4. <property> 
  5.         <name>yarn.nodemanager.aux-services</name> 
  6.         <value>mapreduce_shuffle</value> 
  7. </property> 
  8.  
  9. <!-- 指定YARN的ResourceManager的地址 --> 
  10. <property> 
  11.         <name>yarn.resourcemanager.hostname</name> 
  12.         <value>hadoop103</value> 
  13. </property> 
  • MapReduce配置文件

配置mapred-env.sh

  1. [kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh 
  2. export JAVA_HOME=/opt/module/jdk1.8.0_144 

配置mapred-site.xml

  1. # 如果是第一次配置的话，需要先将mapred-site.xml.template重命名为mapred-site.xml 
  2. [kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml 
  3. [kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml 
  4. # 在文件中增加如下配置 
  5. <!-- 指定MR运行在Yarn上 --> 
  6. <property> 
  7.         <name>mapreduce.framework.name</name> 
  8.         <value>yarn</value> 
  9. </property> 

3.将配置好的文件利用集群分发脚本同步到hadoop103和hadoop104节点

  1. [kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/ 
  • 最好在同步完成之后检查一下同步结果，避免错误

单点启动

1.如果是第一次启动，需要格式化namenode，否则跳过此步

  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format 
  • 格式化需要注意的问题：
  1. 只有第一次启动需要格式化，以后不要总是格式化，否则会出现namenode和datanode的集群id不一致的情况，导致datanode启动失败
  2. 正确的格式化姿势：
  • 在执行第一次格式化时会在hadoop安装目录下产生data文件夹，里面会生成namenode的信息
  • 在启动namenode和datanode后，还会在同样的目录下产生logs的日志文件夹
  • 所以在格式化之前需要先将这两个文件夹删除，然后再格式化，最后启动namenode和datanode

2.在hadoop102上启动namenode

  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode 
  2. [kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
  3. 3461 NameNode 

3.在hadoop102、hadoop103以及hadoop104上分别启动DataNode

  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
  2. [kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
  3. 3461 NameNode 
  4. 3608 Jps 
  5. 3561 DataNode 
  6. [kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
  7. [kocdaniel@hadoop103 hadoop-2.7.2]$ jps 
  8. 3190 DataNode 
  9. 3279 Jps 
  10. [kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
  11. [kocdaniel@hadoop104 hadoop-2.7.2]$ jps 
  12. 3237 Jps 
  13. 3163 DataNode 

4.访问hadoop102:50070查看结果

  • 但是以上单点启动有一个问题：

每次都一个一个节点启动，如果节点数增加到1000个怎么办?

配置ssh免密登录

1.配置ssh

ssh 另一个节点的ip 就可以切换到另一台机器，但是得输入密码

2.免密ssh配置

免密登录原理

  • 在配置namenode的主机hadoop102上生成私钥和公钥

切换目录到/home/用户名/.ssh/

  1. [kocdaniel@hadoop102 .ssh]$ ssh-keygen -t rsa 
  1. - 然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 
  2.  - 将公钥拷贝到要免密登录的目标机器上 
  3.  
  4.  ```shell 
  5.  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop103 
  6.  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop104 
  7.  # 注意：ssh访问自己也需要输入密码，所以我们需要将公钥也拷贝给102 
  8.  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop102 
  9.   
  10.  ``` 
  • 同样，在配置resourcemanager的主机hadoop103上执行同样的操作，然后就可以群起集群了

群起集群

1.配置slaves

  • 切换目录到：hadoop安装目录/etc/hadoop/
  • 在目录下的slaves文件中添加如下内容
  1. [kocdaniel@hadoop102 hadoop]$ vim slaves 
  2. # 注意结尾不能有空格，文件中不能有空行 
  3. hadoop102 
  4. hadoop103 
  5. hadoop104 
  • 同步所有节点的配置文件
  1. [kocdaniel@hadoop102 hadoop]$ xsync slaves 

2.启动集群

  • 同样，如果是第一次启动，需要格式化
  • 启动HDFS
  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh 
  2.  
  3. # 查看启动结果，和集群规划（配置文件中）的一致 
  4. [atguigu@hadoop102 hadoop-2.7.2]$ jps 
  5. 4166 NameNode 
  6. 4482 Jps 
  7. 4263 DataNode 
  8.  
  9. [atguigu@hadoop103 hadoop-2.7.2]$ jps 
  10. 3218 DataNode 
  11. 3288 Jps 
  12.  
  13. [atguigu@hadoop104 hadoop-2.7.2]$ jps 
  14. 3221 DataNode 
  15. 3283 SecondaryNameNode 
  16. 3364 Jps 
  • 启动YARN
  1. # 注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN 
  2. [kocdaniel@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 

3.web端查看相关信息

文章来源网络，作者：管理，如若转载，请注明出处：https://shuyeidc.com/wp/301561.html<

赞 (0)
管理的头像管理
00
上一篇2025-05-24 09:36
下一篇 2025-05-24 09:38

相关推荐

  • jsp空间购买和交换数据空间怎么买，有哪些注意事项？技术资讯

    jsp空间购买和交换数据空间怎么买，有哪些注意事项？

    购买JSP空间时，是否考虑过数据交换空间的性能？简米科技（2003年始创，23年行业沉淀）与酷番云（工信部一类增值电信全牌照）这类持牌自营机房的服务商，能确保数据交换的高效稳定，是值得优先选择的合作伙伴，为什么JSP空间需要搭配独立的数据交换空间从JSP应用特性看数据交换需求JSP基于Java技术,常用于企业级……

    管理的头像管理
    2026-08-11
    0
  • 建网站用香港空间效果怎么样，香港空间稳定吗？技术资讯

    建网站用香港空间效果怎么样，香港空间稳定吗？

    建网站用香港空间，对于创建网站资产来说，核心价值在于免备案和全球带宽优势，尤其适合外贸、跨境电商和需要快速启动的项目，但你必须权衡国内访问延迟，并选择有资质的服务商以保证资产安全，香港空间的核心优势与适用边界免备案：节省时间就是节省成本国内服务器需要备案,通常需要10到20天，香港空间无需备案，域名解析后即可上……

    管理的头像管理
    2026-08-11
    0
  • Java连接云数据库的方法是什么，如何操作技术资讯

    Java连接云数据库的方法是什么，如何操作

    Java连接云数据库的核心在于通过JDBC驱动，结合云服务商提供的连接地址、端口、数据库名及认证信息，配置安全策略（如SSL、IP白名单），即可实现稳定高效的远程数据库访问，基础准备：JDBC驱动与依赖管理连接云数据库前,需要确保开发环境具备对应的JDBC驱动，以最常见的MySQL为例，你需要引入mysql-c……

    管理的头像管理
    2026-08-11
    0
  • 建网站公安联网备案必须使用数据码吗，备案流程是什么技术资讯

    建网站公安联网备案必须使用数据码吗，备案流程是什么

    网站备案包括ICP备案和公安联网备案，两者缺一不可，公安联网备案必须使用服务商提供的数据码，选择持有合法资质的服务商是顺利通过备案的前提，为什么网站必须进行公安联网备案根据公安部《计算机信息网络国际联网安全保护管理办法》，网站开通后30日内必须到公安机关办理备案手续，未完成公安备案的网站，面临责令整改、关闭网站……

    管理的头像管理
    2026-08-10
    0
  • 建一个企业网站大概需要多少钱？，怎么收费？技术资讯

    建一个企业网站大概需要多少钱？，怎么收费？

    建网站要多少钱，没有一个固定的数字，几百到几万都可能，但真正的“创建网站资产”绝不仅仅是初次投入的成本，而是基于长期稳定、合规和安全的持续性投入，其中核心取决于你选择了什么样的“地基”来承载你的业务，建站预算的构成与行业基准当你开始规划一个网站，最先面对的就是预算问题，一个常见的误区是只关注网站“看起来”的建造……

    管理的头像管理
    2026-08-10
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注