1. 树叶云首页
  2. 技术资讯

解析Hadoop 的集群管理与安全机制

管理••技术资讯

HDFS数据管理

1、设置元数据与数据的存储路径，通过

dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、

hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等属性来设置;

2、经常执行HDFS文件系统检查工具FSCK，eg：hdfs fsck /liguodong -files -blocks;

 

  1. [root@slave1 mapreduce]# hdfs fsck /input 
  2. Connecting to namenode via http://slave1:50070 
  3. FSCK started by root (auth:SIMPLE) from /172.23.253.22 for path /input at Tue Jun 16 21:29:21 CST 2015 
  4. .Status: HEALTHY 
  5.  Total size:    80 B 
  6.  Total dirs:    0 
  7.  Total files:   1 
  8.  Total symlinks:                0 
  9.  Total blocks (validated):      1 (avg. block size 80 B) 
  10.  Minimally replicated blocks:   1 (100.0 %) 
  11.  Over-replicated blocks:        0 (0.0 %) 
  12.  Under-replicated blocks:       0 (0.0 %) 
  13.  Mis-replicated blocks:         0 (0.0 %) 
  14.  Default replication factor:    1 
  15.  Average block replication:     1.0 
  16.  Corrupt blocks:                0 
  17.  Missing replicas:              0 (0.0 %) 
  18.  Number of data-nodes:          1 
  19.  Number of racks:               1 
  20. FSCK ended at Tue Jun 16 21:29:21 CST 2015 in 1 milliseconds 
  21.  
  22. The filesystem under path '/input' is HEALTHY 

 

3、一旦数据发生异常，可以设置NameNode为安全模式，这时NameNode为只读模式;

操作命令：hdfs dfsadmin -safemode enter | leave | get | wait

 

  1. [root@slave1 mapreduce]# hdfs dfsadmin -report 
  2. Configured Capacity: 52844687360 (49.22 GB) 
  3. Present Capacity: 45767090176 (42.62 GB) 
  4. DFS Remaining: 45766246400 (42.62 GB) 
  5. DFS Used: 843776 (824 KB) 
  6. DFS Used%: 0.00% 
  7. Under replicated blocks: 0 
  8. Blocks with corrupt replicas: 0 
  9. Missing blocks: 0 
  10.  
  11. ------------------------------------------------- 
  12. Datanodes available: 1 (1 total, 0 dead) 
  13.  
  14. Live datanodes: 
  15. Name: 172.23.253.22:50010 (slave1) 
  16. Hostname: slave1 
  17. Decommission Status : Normal 
  18. Configured Capacity: 52844687360 (49.22 GB) 
  19. DFS Used: 843776 (824 KB) 
  20. Non DFS Used: 7077597184 (6.59 GB) 
  21. DFS Remaining: 45766246400 (42.62 GB) 
  22. DFS Used%: 0.00% 
  23. DFS Remaining%: 86.61% 
  24. Last contact: Tue Jun 16 21:27:17 CST 2015 
  25.  
  26. [root@slave1 mapreduce]# hdfs dfsadmin -safemode get 
  27. Safe mode is OFF 

 

4、每一个DataNode都会运行一个数据扫描线程，它可以检测并通过修复命令来修复坏块或丢失的数据块，通过属性设置扫描周期;

dfs.datanode.scan.period.hourses， 默认是504小时。

MapReduce作业管理

查看Job信息：mapred job -list;

杀死Job：mapred job -kill;

查看指定路径下的历史日志汇总：mapred job -history output-dir;

打印map和reduce完成的百分比和所有计数器：mapred job -status job_id;

 

  1. [root@slave1 mapreduce]# mapred job 
  2. Usage: CLI <command> <args> 
  3.         [-submit <job-file>] 
  4.         [-status <job-id>] 
  5.         [-counter <job-id> <group-name> <counter-name>] 
  6.         [-kill <job-id>] 
  7.         [-set-priority <job-id> <priority>]. Valid values for priorities are: VERY_HIGH HIGH NORMAL LOW VERY_LOW 
  8.         [-events <job-id> <from-event-#> <#-of-events>] 
  9.         [-history <jobHistoryFile>] 
  10.         [-list [all]] 
  11.         [-list-active-trackers] 
  12.         [-list-blacklisted-trackers] 
  13.         [-list-attempt-ids <job-id> <task-type> <task-state>]. Valid values for <task-type> are REDUCE MAP. Valid values for <task-state> are running, completed 
  14.         [-kill-task <task-attempt-id>] 
  15.         [-fail-task <task-attempt-id>] 
  16.         [-logs <job-id> <task-attempt-id>] 
  17.  
  18. Generic options supported are 
  19. -conf <configuration file>     specify an application configuration file 
  20. -D <property=value>            use value for given property 
  21. -fs <local|namenode:port>      specify a namenode 
  22. -jt <local|jobtracker:port>    specify a job tracker 
  23. -files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster 
  24. -libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath. 
  25. -archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines. 
  26.  
  27.  
  28. [root@slave1 mapreduce]# mapred job -list 
  29. 15/06/16 21:33:25 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
  30. Total jobs:0 
  31. JobId  State  StartTime  UserName  Queue  Priority  UsedContainers  RsvdContainers  UsedMem RsvdMem    NeededMem    AM info 

 

#p#

Hadoop集群安全

Hadoop自带两种安全机制：Simple机制、Kerberos机制

1、Simple机制：

Simple机制是JAAS协议与delegation token结合的一种机制，JAAS(Java Authentication and Authorization Service)java认证与授权服务;

(1)用户提交作业时，JobTracker端要进行身份核实，先是验证到底是不是这个人，即通过检查执行当前代码的人与JobConf中的user.name中的用户是否一致;

(2)然后检查ACL(Access Control List)配置文件(由管理员配置)看你是否有提交作业的权限。一旦你通过验证，会获取HDFS或者mapreduce授予的delegation token(访问不同模块有不同的delegation token)，之后的任何操作，比如访问文件，均要检查该token是否存在，且使用者跟之前注册使用该token的人是否一致。

2、Kerberos机制：

Kerberos机制是基于认证服务器的一种方式;

 

Princal(安全个体)：被认证的个体，有一个名字和口令;

KDC(key distribution center)：是一个网络服务，提供ticket和临时会话密钥;

Ticket：一个记录，客户用它来向服务器证明自己的身份，包括客户标识、会话密钥、时间戳;

AS(Authentication Server)：认证服务器;

TSG(Ticket Granting Server)：许可认证服务器;

 

[[137086]]

(1)Client将之前获得TGT和要请求的服务信息(服务名等)发送给KDC，

KDC中的Ticket Granting Service将为Client和Service之间生成一个Session Key用于Service对Client的身份鉴别。

然后KDC将这个Session Key和用户名，用户地址(IP)，服务名，有效期, 时间戳一起包装成一个Ticket(这些信息最终用于Service对Client的身份鉴别)发送给Service，

不过Kerberos协议并没有直接将Ticket发送给Service，而是通过Client转发给Service，所以有了第二步。

(2)此时KDC将刚才的Ticket转发给Client。

由于这个Ticket是要给Service的，不能让Client看到，所以KDC用协议开始前KDC与Service之间的密钥将Ticket加密后再发送给Client。

同时为了让Client和Service之间共享那个密钥(KDC在***步为它们创建的Session Key)，

KDC用Client与它之间的密钥将Session Key加密随加密的Ticket一起返回给Client。

(3)为了完成Ticket的传递，Client将刚才收到的Ticket转发到Service。

由于Client不知道KDC与Service之间的密钥，所以它无法算改Ticket中的信息。

同时Client将收到的Session Key解密出来，然后将自己的用户名，用户地址(IP)打包成Authenticator用Session Key加密也发送给Service。

(4)Service 收到Ticket后利用它与KDC之间的密钥将Ticket中的信息解密出来，从而获得Session Key和用户名，用户地址(IP)，服务名，有效期。

然后再用Session Key将Authenticator解密从而获得用户名，用户地址(IP)将其与之前Ticket中解密出来的用户名，用户地址(IP)做比较从而验证Client的身份。

(5)如果Service有返回结果，将其返回给Client。

#p#

Hadoop集群内部使用Kerberos进行认证

 

[[137087]]

好处：

可靠：Hadoop本身并没有认证功能和创建用户组功能，使用依靠外围的认证系统;

高效：Kerberos使用对称钥匙操作，比SSL的公共密钥快;

操作简单：用户可以方便进行操作，不需要很复杂的指令。比如废除一个用户只需要从Kerbores的KDC数据库中删除即可。

HDFS安全

1、Client获取namenode初始访问认证(使用kerberos)后，会获取一个delegation token，这个token可以作为接下来访问HDFS或提交作业的凭证;

2、同样为了读取某个文件，Client首先要与namenode交互，获取对应block的block access token，

然后到相应的datanode上读取各个block ，

而datanode在初始启动向namenode注册时候，已经提前获取了这些token，

当client要从TaskTracker上读取block时，首先验证token，通过才允许读取。

MapReduce安全

1、所有关于作业的提交或者作业运行状态的追踪均是采用带有Kerberos认证的RPC实现的。

授权用户提交作业时，JobTracker会为之生成一个delegation token，该token将被作为job的一部分存储到HDFS上并通过RPC分发给各个TaskTracker，一旦job运行结束，该token失效。

2、用户提交作业的每个task均是以用户身份启动的，这样一个用户的task便不可以向TaskTracker或者其他用户的task发送操作系统信号，给其他用户造成干扰。这要求为每个用户在所有的TaskTracker上建一个账号;

3、当一个map task运行结束时，它要将计算结果告诉管理它的TaskTracker，之后每个reduce task会通过HTTP向该TaskTracker请求自己要处理的那块数据，Hadoop应该确保其他用户不可以获取map task的中间结果，

其执行过程是：reduce task对“请求URL”和“当前时间”计算HMAC-SHA1值，并将该值作为请求的一部分发动给TaskTracker，TaskTracker收到后会验证该值的正确性。

博文出处：http://blog.csdn.net/scgaliguodong123_/article/details/46523569

文章来源网络，作者：管理，如若转载，请注明出处：https://shuyeidc.com/wp/133298.html<

赞 (0)
管理的头像管理
00
上一篇2025-02-27 10:15
下一篇 2025-02-27 10:17

相关推荐

  • jsp空间购买和交换数据空间怎么买，有哪些注意事项？技术资讯

    jsp空间购买和交换数据空间怎么买，有哪些注意事项？

    购买JSP空间时，是否考虑过数据交换空间的性能？简米科技（2003年始创，23年行业沉淀）与酷番云（工信部一类增值电信全牌照）这类持牌自营机房的服务商，能确保数据交换的高效稳定，是值得优先选择的合作伙伴，为什么JSP空间需要搭配独立的数据交换空间从JSP应用特性看数据交换需求JSP基于Java技术,常用于企业级……

    管理的头像管理
    2026-08-11
    0
  • 建网站用香港空间效果怎么样，香港空间稳定吗？技术资讯

    建网站用香港空间效果怎么样，香港空间稳定吗？

    建网站用香港空间，对于创建网站资产来说，核心价值在于免备案和全球带宽优势，尤其适合外贸、跨境电商和需要快速启动的项目，但你必须权衡国内访问延迟，并选择有资质的服务商以保证资产安全，香港空间的核心优势与适用边界免备案：节省时间就是节省成本国内服务器需要备案,通常需要10到20天，香港空间无需备案，域名解析后即可上……

    管理的头像管理
    2026-08-11
    0
  • Java连接云数据库的方法是什么，如何操作技术资讯

    Java连接云数据库的方法是什么，如何操作

    Java连接云数据库的核心在于通过JDBC驱动，结合云服务商提供的连接地址、端口、数据库名及认证信息，配置安全策略（如SSL、IP白名单），即可实现稳定高效的远程数据库访问，基础准备：JDBC驱动与依赖管理连接云数据库前,需要确保开发环境具备对应的JDBC驱动，以最常见的MySQL为例，你需要引入mysql-c……

    管理的头像管理
    2026-08-11
    0
  • 建网站公安联网备案必须使用数据码吗，备案流程是什么技术资讯

    建网站公安联网备案必须使用数据码吗，备案流程是什么

    网站备案包括ICP备案和公安联网备案，两者缺一不可，公安联网备案必须使用服务商提供的数据码，选择持有合法资质的服务商是顺利通过备案的前提，为什么网站必须进行公安联网备案根据公安部《计算机信息网络国际联网安全保护管理办法》，网站开通后30日内必须到公安机关办理备案手续，未完成公安备案的网站，面临责令整改、关闭网站……

    管理的头像管理
    2026-08-10
    0
  • 建一个企业网站大概需要多少钱？，怎么收费？技术资讯

    建一个企业网站大概需要多少钱？，怎么收费？

    建网站要多少钱，没有一个固定的数字，几百到几万都可能，但真正的“创建网站资产”绝不仅仅是初次投入的成本，而是基于长期稳定、合规和安全的持续性投入，其中核心取决于你选择了什么样的“地基”来承载你的业务，建站预算的构成与行业基准当你开始规划一个网站，最先面对的就是预算问题，一个常见的误区是只关注网站“看起来”的建造……

    管理的头像管理
    2026-08-10
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注