macos - 从属数据节点在hadoop 0.20.2中不工作,从属无法与master @ 54310通信

标签 macos hadoop amazon-web-services amazon-ec2 ubuntu-14.04

您能否详细说明您的答案。我陷入类似的问题。我的hadoop进程运行正常。我将Macbook便携式计算机本地计算机用作主机,将AWS EC2实例用作“从机”。尽管datanode在slave中处于 Activity 状态,但它不能运行我的进程。

以下是我在两个节点上的/ etc / hosts

在我的PC主节点中
## # Host Database # # localhost is used to configure the loopback interface # when the system is booting. Do not change this entry. ## 127.0.0.1 localhost 255.255.255.255 broadcasthost #::1 localhost xxx master abc slave1 abc slave2
在从属ec2实例中
127.0.0.1本地主机

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts
xxx master
abc slave1
abc slave2

从属日志文件条目:
2016-03-18 11:04:05,826 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:     STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = 
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build =         https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707;     compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
2016-03-18 11:04:27,273 INFO org.apache.hadoop.ipc.Client: Retrying connect to     server: master/xxx:54310. Already tried 0 time(s).
2016-03-18 11:04:48,294 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/xxx:54310. Already tried 1 time(s).

请帮助我,我被困了两天。我还通过aws论坛和许多其他链接查看了link帖子,但有帮助。

谢谢

最佳答案

您不应在自己的笔记本电脑上运行主节点,而应在ec2上运行数据节点。这是因为这些ec2服务器无法通过ISP始终提供的IP“10.0.0.130”访问笔记本电脑:

ping 10.0.0.130
PING 10.0.0.130 (10.0.0.130): 56 data bytes
Request timeout for icmp_seq 0
Request timeout for icmp_seq 1
Request timeout for icmp_seq 2
Request timeout for icmp_seq 3
Request timeout for icmp_seq 4

您可以登录ec2机器并ping通IP,它将无法正常工作。将主节点移至ec2,并确保群集中的每台计算机以及hadoop部署中的每个角色之间都具有正确的访问权限。

关于macos - 从属数据节点在hadoop 0.20.2中不工作,从属无法与master @ 54310通信,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36083764/

相关文章:

python - Mac 上的 Jupyter : run files from non-default directory

hadoop - 无法为输出方法 'output_xml.properties' 加载属性文件 'xml'(检查 CLASSPATH)

hadoop - 如何在 Reduce Join 算法中设置多个 Mappers?

Git 子模块代码提交

amazon-web-services - 将 CloudFormation 上的 CSV 输入到数组中

excel - PC 和 Mac 之间的 Range.Count 差异

macos - 如何判断 MTDeviceRef 是什么类型的多点触控设备

objective-c - Cocoa:namesOfPromisedFilesDroppedAtDestination 仅返回一个文件

java - Apache Hadoop setXIncludeAware UnsupportedOperationException

java - 如何解决加载 Mirth Connect Administrator 时弹出的 java 错误