python - 有关在Amazon EMR上使用mrjob运行Mapreduce程序的一些基本疑问

Question

我是mrjob的新手，我无法在Amazon EMR上运行该工作。我将按顺序编写它们。

我可以在本地计算机上运行mrjob。但是，当我在/home/ankit/.mrjob.conf和/etc/mrjob.conf中具有mrjob.conf时，该作业不会在本地计算机上执行。
这就是我得到的。 https://s3-ap-southeast-1.amazonaws.com/imagna.sample/local.txt

文档中“MR_CONF指定的位置”中的MRJOB_CONF是什么？

'base_tmp_directory'的用途是什么？另外，我是否需要在开始作业之前在S3中上载输入数据，否则它将在执行开始时从本地计算机加载？

如果我使用numpy，scikit等库，是否需要做一些 bootstrap ？如果是，怎么办？

这是我在EMR上执行运行作业的命令时得到的信息https://s3-ap-southeast-1.amazonaws.com/imagna.sample/emr.txt

有什么办法吗？

非常感谢。

Answer 1

您的网址无效(我收到“访问被拒绝”错误)。

mrjob.conf是一个配置文件。它可以位于多个位置，请参见http://pythonhosted.org/mrjob/configs-conf.html

只需在命令行上指定输入文件的路径，就可以使用本地计算机上的输入数据。 MRJob将为您上传数据到S3。如果指定s3:// ... URL，则MRJob将使用该S3路径中的数据。

要使用非标准软件包，请参见http://pythonhosted.org/mrjob/writing-and-running.html#custom-python-packages

您的网址无效(我收到“访问被拒绝”错误)。