java - hadoop os x mrjob $ HADOOP_HOME未设置

标签 java python macos hadoop mapreduce

我已使用以下教程在OS X本地计算机上设置hadoop-http://blogs.msdn.com/b/brandonwerner/archive/2011/11/13/how-to-set-up-hadoop-on-os-x-lion-10-7.aspx

我运行了字数统计示例,一切正常。现在,我想使用python编写map reduce作业,并在我的本地hadoop实现上运行它。我正在尝试开源“mrjob”框架。我能够在本地运行他们的字数示例作业,但是当我在hadoop实现中尝试这样时,

$python mrjob/examples/mr_word_freq_count.py README.rst -r hadoop > counts

我收到一条错误消息,说未设置$ HADOOP_HOME,它必须显式传递。
我编辑了.bash_profile文件,当我从终端回显$ HADOOP_HOME时,我得到了'/ usr / local / hadoop'

我在hadoop上找不到有关mrjob框架的好的文档。我只需要开始,这样我就可以在mrjob中运行示例单词计数作业。

任何帮助将不胜感激。

最佳答案

我是维护者之一。下次遇到此类问题时,您应该在Github上打开一张票。我们根本不看堆栈溢出。

Hadoop运行者得到的爱少于其他框架,但我们正在解决一个与v0.3.5下一版本相关的问题:https://github.com/Yelp/mrjob/issues/482

请发送进一步的错误报告给Github。

关于java - hadoop os x mrjob $ HADOOP_HOME未设置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10259089/

相关文章:

python - html h1标签不显示类型

Android studio 鼠标有时不工作?

java - 计算通过 JUnit 调用函数的次数

java - 如何在java swing中的jframe中添加图像?

python - 如何关闭 Python 正在使用的 mp3 文件?

python - 如何使用python ubuntu从远程服务器读取excel文件

java - 从方法返回通用类型对象。获取 Class<SomeType> 而不是 SomeType

java - 在 codhaus 和 fastexml 上使用 lombok 的 Jackson ObjectMapper 默认值

php - 在 OS X 上进行 PHP 开发的最佳方式

macos - DMG 是否需要经过公证才能在 Catalina 上通过 Gatekeeper