python - 如何从 hadoop python 包装器运行 C++ 可执行文件

标签 python c++ hadoop

我是使用 python 的 hadoop 流媒体库的新手。所以这个问题可能看起来很愚蠢,但我被困在这里了。感谢您的帮助。

我正在尝试从用作 hadoop 映射器的 python 代码运行 C++ 可执行文件(它将本地文件名作为命令行参数并在本地文件系统中写入文件)。 C++ 代码在本地文件系统中运行良好。此外,当我从 python 调用它时,它在本地文件系统中工作正常。但是,无论何时,我都试图将 python 称为 hadoop,映射器它不起作用。

这是什么原因呢?有什么想法吗?

最佳答案

假设您可以验证您的 Python 代码能够在本地执行二进制文件,您应该确保将 C++ 二进制文件也部署到工作机器上,以使其可供 Mappers 使用。 You can use the -file command line argument for this.

关于python - 如何从 hadoop python 包装器运行 C++ 可执行文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25310410/

相关文章:

python - 如何使用 asyncio 安排和取消任务

python - 使用 Flask 从 API 调用端点的正确方法

hadoop - 使用配置单元在大范围分区中选择数据

python - 将对象附加到列表时删除引号

python - 如何使用生成器在 Python 中获取笛卡尔积?

c++ - 将 lambda 用于回调函数作为 C 函数参数

c++ - cmake : failing to link against google profiler (gperftools)

c++ - 有没有办法替代使用函数的所有定义,并自动在源代码中更改变量名称?

hadoop - 将 S3 连接器与 Cloud Dataproc 结合使用时出现 java.lang.VerifyError

shell - 阻止Hadoop将JobClient输出发送到命令行?