java - hadoop-2.2.0 mapreduce 在 ubuntu 上不工作

标签 java ubuntu hadoop mapreduce

我已经在 64 位 Ubuntu 12.04.3(精确)上安装了 hadoop 2.2.0,并按照博客中的建议配置了配置 xml 文件(http://tuliodomingos.blogspot.com.es/2013/04/installing-apache-hadoop-in-ubuntu-linux.html,如果您有兴趣)

目标是为 dfs 和 mapreduce 建立一个“单节点集群”。

因为缺少某些库,我经常收到以下消息,但我认为这不是导致问题的原因:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

[我尝试了一个来自 maven 的构建,但对实际发生的事情感到非常困惑。编译迭代后似乎有迭代,我不知道发生了什么。]

无论如何,对于我下载的(非 Maven 的)hadoop,分布式文件系统似乎表现良好。但是,当我尝试按照教程运行 WordCount mapreduce 示例时,我卡住了。作业提交正常,但它们似乎从未真正运行过。附件中的“mr_output.txt”是终端返回的内容。

此外,查看本地监控站点(抱歉我不能发布这些图像),我注意到一件事是这些站点指示零 Activity 节点并且我不明白发生了什么,考虑到 dfs 操作是一切都好。

另外,这里是 hdfs dfsadmin -report 的输出:

13/11/06 14:08:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 412849389568 (384.50 GB)
Present Capacity: 134156435456 (124.94 GB)
DFS Remaining: 134152601600 (124.94 GB)
DFS Used: 3833856 (3.66 MB)
DFS Used%: 0.00%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: rimmer-Inspiron-7520
Decommission Status : Normal
Configured Capacity: 412849389568 (384.50 GB)
DFS Used: 3833856 (3.66 MB)
Non DFS Used: 278692954112 (259.55 GB)
DFS Remaining: 134152601600 (124.94 GB)
DFS Used%: 0.00%
DFS Remaining%: 32.49%
Last contact: Wed Nov 06 14:08:18 EST 2013

如果我尝试调用“yarn resoucemanager”或“yarn nodemanager”,我会收到一条超长的消息流,我看到的错误是:

13/11/06 14:15:11 FATAL nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers

尽管在文件“yarn-site.xml”中将“yarn.nodemanager.aux-services”设置为“mapreduce.shuffle”

我已经浏览了很多次官方文档,也很努力地访问了谷歌和论坛。非常感谢任何智慧。

最好的,

基兰

最佳答案

出于某种原因,服务名称的有效格式在 Hadoop 2.1.0 和 2.2.0 之间发生了变化。

现在正确的值是 mapreduce_shuffle 而不是 mapreduce.shuffle

比较http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/PluggableShuffleAndPluggableSort.html

关于java - hadoop-2.2.0 mapreduce 在 ubuntu 上不工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19803675/

相关文章:

c - 使用 g_rename 函数编译 GTK+ 应用程序时出错

hadoop - 事件名称节点崩溃时不会触发故障转移

java - 导出/导入 Eclipse 构建路径

java - 固定线程池和大量任务的线程问题

eclipse - Spring Tool Suite 3.9.6 编辑器反复刷新

hadoop - 使Hive替换变量可用于所有 session 。

hadoop - Hive-使用动态分区查询时出错

java - 在 Java (Android) 中使用 LinearLayout 和 TextView 改变颜色

java - GlassFish 服务器问题

ruby-on-rails - 卡皮斯特拉诺 "No tty present and no askpass program specified"