java - 使用 .exe 作为映射器 (Hadoop) 的一部分

标签 java hadoop

我正在编写一个 mapreduce 作业来处理二进制日志文件。在获得相关信息之前,需要一个可执行文件来处理文件。Java 进程构建器是实现这一点的最佳方式吗?

最佳答案

如果您需要运行 EXE,您可能就不走运了,因为 Linux 是 Hadoop 唯一受支持的平台。我听说有人在 Cygwin 上尝试 Hadoop,但要使该配置正常工作可能是一场艰苦的战斗。

如果您仍想使用 Hadoop,我建议您使用以下方法之一:

  • 使用 Windows 框将二进制日志文件转换为中间格式;然后你可以在 Hadoop 中处理它。
  • 用Java重写转换逻辑
  • 如果您的 EXE 程序是 C#/.NET,您可以使用 Mono 在 Linux 上运行它,并使用 Hadoop 流调用外部程序。

关于java - 使用 .exe 作为映射器 (Hadoop) 的一部分,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5121772/

相关文章:

hadoop - Hadoop 中的 (key,value) 对总是 ('text' ,1) 吗?

java - 对于预 Lollipop 设备使用 attr 的正确方法是什么?

java - java 定时线程池

java - 如何用 Java 1.8 函数替换反射方法访问?

hadoop - 如何估算一个 Hadoop 集群?

hadoop - 与Pig有效地合并2个排序的文件

hadoop - 建筑Oozie失败

hadoop - 使用Spark转换文件压缩格式

java - log4j 在哪里/如何查找 log4j.properties 文件?

java - JPA查询左连接而不加载连接实体字段