我已使用以下教程在OS X本地计算机上设置hadoop-http://blogs.msdn.com/b/brandonwerner/archive/2011/11/13/how-to-set-up-hadoop-on-os-x-lion-10-7.aspx
我运行了字数统计示例,一切正常。现在,我想使用python编写map reduce作业,并在我的本地hadoop实现上运行它。我正在尝试开源“mrjob”框架。我能够在本地运行他们的字数示例作业,但是当我在hadoop实现中尝试这样时,
$python mrjob/examples/mr_word_freq_count.py README.rst -r hadoop > counts
我收到一条错误消息,说未设置$ HADOOP_HOME,它必须显式传递。
我编辑了.bash_profile文件,当我从终端回显$ HADOOP_HOME时,我得到了'/ usr / local / hadoop'
我在hadoop上找不到有关mrjob框架的好的文档。我只需要开始,这样我就可以在mrjob中运行示例单词计数作业。
任何帮助将不胜感激。
最佳答案
我是维护者之一。下次遇到此类问题时,您应该在Github上打开一张票。我们根本不看堆栈溢出。
Hadoop运行者得到的爱少于其他框架,但我们正在解决一个与v0.3.5下一版本相关的问题:https://github.com/Yelp/mrjob/issues/482
请发送进一步的错误报告给Github。
关于java - hadoop os x mrjob $ HADOOP_HOME未设置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10259089/