hadoop - 完成设置后未在单节点 hadoop 集群中运行 Wordcount 作业

标签 hadoop

hduser@distributed-desktop:/usr/local/hadoop$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output

之后没有输出。

我已经安装了>>

java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) Client VM (build 20.1-b02, mixed mode, sharing)

我配置了一切>> Single Node Cluster

当我在 cmd 中输入 jps 时,它说 >>

4524 Jps
3609 NameNode
4000 JobTracker
3933 SecondaryNameNode
4433 RunJar
4159 TaskTracker

我检查了 Hadoop 驱动器的文件。它在这个 cmd 之后说

hduser@distributed-desktop:/usr/local/hadoop$ bin/hadoop dfs -ls /user/hduser/gutenberg

找到 2 个项目

drwxr-xr-x   - hduser supergroup          0 2011-07-31 18:58 /user/hduser/gutenberg/gutenberg
-rw-r--r--   1 hduser supergroup          0 2011-07-31 18:51 /user/hduser/gutenberg/pg20417.txt

下一步做什么。

我一直在使用 Ubuntu 10.10

最佳答案

您的数据节点没有运行。这种情况经常发生。转到/app/hadoop/tmp/dfs/并键入 ls。 您将获得一个名为 data 的目录。您需要删除该文件夹的所有内容(不要删除该文件夹)。 然后格式化你的 namenode 类型 jps 和 datanode 应该在那里。这将使您的所有节点运行。

关于hadoop - 完成设置后未在单节点 hadoop 集群中运行 Wordcount 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6889695/

相关文章:

database - 在单个作业中从多个数据库读取-hadoop

shell - 当我从oozie使用shell时没有得到这样的文件或目录错误

java - 使用 MrUnit 对 Mongo-Hadoop 作业进行单元测试

hadoop - 如何在 mapper 或 reducer 中运行外部程序,将 HDFS 文件作为输入并将输出文件存储在 HDFS 中?

mysql - 配置单元 mysql 连接器错误

perl - 使用Hadoop的有效方法来消隐在列中出现少于X次的值

hadoop - 编写RCFile-多少个reducer?

hadoop - Pig 中的计算统计模式

hadoop - 在 YARN 中为 CLI 提交的作业设置 applicationTags 属性

hadoop - 无法在mapreduce中运行我的第一个单词计数示例