hadoop - 从SVN “no namenode to stop”通过Hadoop替换mapred/hdfs/common jar构建后

标签 hadoop

我从中 checkout 源代码

http://svn.apache.org/repos/asf/hadoop/common

http://svn.apache.org/repos/asf/hadoop/hdfs

http://svn.apache.org/repos/asf/hadoop/mapreduce

并得到
hadoop-mapred-0.23.0-SNAPSHOT.jar
hadoop-hdfs -0.23.0-SNAPSHOT.jar
hadoop-common-0.23.0-SNAPSHOT.jar

但是我无法使用这些 jar 启动all.sh ...

Jobtracker和tasktracker启动仅5秒钟,然后自动关闭...

有人可以帮忙吗?

我试图检查日志

任务跟踪器说
2011-03-01 00:43:06,242错误org.apache.hadoop.io.nativeio.NativeIO:无法初始化NativeIO库
java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO.initNative()V
在org.apache.hadoop.io.nativeio.NativeIO.initNative(本地方法)
在org.apache.hadoop.io.nativeio.NativeIO。(NativeIO.java:55)
在org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:558)
在org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:352)
在org.apache.hadoop.mapred.TaskController.setup(TaskController.java:90)
在org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:698)
在org.apache.hadoop.mapred.TaskTracker(TaskTracker.java:1391)
在org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3619)
2011-03-01 00:43:12,983错误org.apache.hadoop.mapred.TaskTracker:无法启动任务跟踪器,因为java.io.IOException:本地异常:java.io对本地主机/127.0.0.1:9001的调用失败.IOException:对等重置连接
在org.apache.hadoop.ipc.Client.wrapException(Client.java:1063)
在org.apache.hadoop.ipc.Client.call(Client.java:1031)
在org.apache.hadoop.ipc.WritableRpcEngine $ Invoker.invoke(WritableRpcEngine.java:197)
在org.apache.hadoop.mapred。$ Proxy4.getProtocolSignature(来源不明)
在org.apache.hadoop.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:238)
在org.apache.hadoop.ipc.RPC.getProtocolProxy(RPC.java:422)
在org.apache.hadoop.ipc.RPC.waitForProtocolProxy(RPC.java:278)
在org.apache.hadoop.ipc.RPC.waitForProtocolProxy(RPC.java:232)
在org.apache.hadoop.ipc.RPC.waitForProtocolProxy(RPC.java:194)
在org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:176)
在org.apache.hadoop.mapred.TaskTracker $ 2.run(TaskTracker.java:710)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:416)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1142)
在org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:706)
在org.apache.hadoop.mapred.TaskTracker(TaskTracker.java:1391)
在org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3619)
由以下原因引起:java.io.IOException:对等重置连接
在sun.nio.ch.FileDispatcher.read0(本机方法)
在sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
在sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:251)
在sun.nio.ch.IOUtil.read(IOUtil.java:224)
在sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:254)
在org.apache.hadoop.net.SocketInputStream $ Reader.performIO(SocketInputStream.java:59)
在org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)
在org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:159)
在org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:132)
在java.io.FilterInputStream.read(FilterInputStream.java:133)
在org.apache.hadoop.ipc.Client $ Connection $ PingInputStream.read(Client.java:368)
在java.io.BufferedInputStream.fill(BufferedInputStream.java:235)
在java.io.BufferedInputStream.read(BufferedInputStream.java:254)
在java.io.DataInputStream.readInt(DataInputStream.java:387)
在org.apache.hadoop.ipc.Client $ Connection.receiveResponse(Client.java:760)
在org.apache.hadoop.ipc.Client $ Connection.run(Client.java:698)

2011-03-01 00:43:12,984信息org.apache.hadoop.mapred.TaskTracker:SHUTDOWN_MSG:
/ **********************************
SHUTDOWN_MSG:在Vaio-sz65 / 127.0.1.1中关闭TaskTracker
********************************** /

最佳答案

现在我知道如何处理了...
首先升级dfs!

关于hadoop - 从SVN “no namenode to stop”通过Hadoop替换mapred/hdfs/common jar构建后,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5144780/

相关文章:

sql - 更新 Sqoop 导出中的值

hadoop - 为什么 Hadoop SequenceFile 写比读慢很多?

hadoop - hive 错误-从表中选择*;

api - Hadoop 发布和新 API

hadoop - 如何在HIVEQL中的特定列值上保留外部联接?

mongodb - hadoop 与 mongodb 和 hadoop vs mongodb

hadoop - 将 PIG 中 UNION 的结果存储在单个文件中

hadoop - 在 Hadoop 中并行加载和处理数据

hadoop - 在 hive 中创建表格时位置的用途是什么

java - Hbase shell 命令抛出错误