java - Hadoop 单节点集群 - 进程未运行

标签 java hadoop mapreduce

我有一个与 Hadoop 相关的项目,我已经按照此处所述安装了 Hadoop:https://www.codeproject.com/Articles/757934/Apache-Hadoop-for-Windows-Platform
我正在尝试在数据集 recipeitems-latest.json 上运行相同的 map-reduce 作业 Recipe.java

我已经从这个 Recipe.java 代码创建了一个 .jar 文件,并且我已经启动了 YARN 和 DFS。我还创建了目录/in 并将 recipeitems-latest.json 复制到其中。

现在,我通过调用开始工作:

hadoop jar c:\Hwork\Recipe.jar Recipe /in /out

作业开始,说正在运行但没有任何进展,如您在此处所见:/image/QSifC.png

我也尝试通过单击给定链接来跟踪作业,它的状态已被接受,但进度条不显示任何内容。

我才 1 天前才开始使用 Hadoop,我真的不知道出了什么问题。为什么我开始的工作没有进展?

最佳答案

问题已解决。显然,必须将\sbin\start-yarn 中的 EOL 字符(以及\bin\hadoop.cmd 中的)从 '\n' 更改为 '\r\n',它的效果非常好!

关于java - Hadoop 单节点集群 - 进程未运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46621598/

相关文章:

java - 改造 JSON 请求不解析 Java 对象

java - Greenfoot 计数器减一

hadoop - Knox Gateway 数据库连接器

.net - 以编程方式运行 HDInsight 作业 - 群集节点上的 .jar 文件,而不是 Blob 存储中

hadoop - hive/hdfs 移动数据未按预期工作

java - 相同的关键不同的 reducer (HADOOP)?

parallel-processing - MPI比MapReduce更适合哪些情况?

java - 运行多个 Action 事件时出现 NullPointerException

java - Apache 守护进程 procrun prunsrv Windows exe 模式不工作

java - 为什么 DistributedCache 会破坏我的文件名