hadoop - 在 hadoop 流中使用 fopen

Question

当我使用 hadoop 流执行文件时，如何在 native 应用程序中打开文件？

例如我有如下代码:

int main(int argc, char** argv){
   FILE* fp = fopen(argv[1], "a+");
   ...
   fscanf(fp, "%d", val);
   ...
   fclose(fp);
}

如果不可能，您能否建议任何其他方法或与之相关的建议。

如果可能，是否有关于此主题的任何文档。如何不为 hadoop-streaming 编程。

对不起我的英语。

谢谢

Answer 1

How can I open file inside native application when I execute it using Hadoop streaming?

HDFS 通过 WebHDFS 提供了一个 REST API和 HttpFS用于各种操作。可以从所有语言中实用地访问 REST API。另请注意，这些语言还具有可轻松针对 REST API 进行编程的库。