edt使用什么协议来保证hadoop集群安全
答案:1 悬赏:30
解决时间 2021-01-17 02:26
- 提问者网友：凉末
- 2021-01-16 20:12
edt使用什么协议来保证hadoop集群安全
最佳答案
- 二级知识专家网友：夜余生
- 2021-01-16 20:23
1、需求：有两个集群，网络中节点是互通的，现在要用distcp进行文件迁移，但一个集群是非安全集群，一个是配置了kerberos认证的安全集群，怎么执行呢？
2、前提：两个集群都做了HA配置，所以要通过如下命令查看活动Namenode并获取其IP地址；
HA配置查看活动Namenode：hdfs haadmin -getServiceState nn1或nn2(namenode名)；
3、试验：
目的平台执行Hadoop distcp hdfs://IP:8020/pgw/ hdfs://namenode:8020/pgw/
源平台执行hadoop distcp hdfs://IP:8020/pgw/ hdfs://IP:8020/pgw/
都不行。
分析后，关系 Cross-realm authentication问题，配置core-site.xml 需降低安全配置；
ipc.client.fallback-to-simple-auth-allowed
true
4、解决：在目的平台执行
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.type=CRC32 webhdfs://namenode IP:50070/data/ /data
命令中直接回退安全配置，同时采用webhdfs来传输，不过这个采用restfull机制，有IO阻塞风险。
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://namenode IP:50070/flume/data/ /data/
大文件传输时，去掉校验-D dfs.checksum.type=CRC32就正常。
2、前提：两个集群都做了HA配置，所以要通过如下命令查看活动Namenode并获取其IP地址；
HA配置查看活动Namenode：hdfs haadmin -getServiceState nn1或nn2(namenode名)；
3、试验：
目的平台执行Hadoop distcp hdfs://IP:8020/pgw/ hdfs://namenode:8020/pgw/
源平台执行hadoop distcp hdfs://IP:8020/pgw/ hdfs://IP:8020/pgw/
都不行。
分析后，关系 Cross-realm authentication问题，配置core-site.xml 需降低安全配置；
4、解决：在目的平台执行
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.type=CRC32 webhdfs://namenode IP:50070/data/ /data
命令中直接回退安全配置，同时采用webhdfs来传输，不过这个采用restfull机制，有IO阻塞风险。
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://namenode IP:50070/flume/data/ /data/
大文件传输时，去掉校验-D dfs.checksum.type=CRC32就正常。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息！
大家都在看
推荐信息