如果Luigi图中的任务之一需要在远程Hadoop集群上运行，那可能吗？ Luigi运行所在的计算机与Hadoop群集不同。 luigi仍然可以检查远程群集中的HDFS文件是否存在吗？
我试图为此找到文档，但无法。
最佳答案
您可以运行可启动任何脚本的作业。
HDFS目标文档在这里:
https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.html
https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.target.html
关于hadoop - Luigi可以运行远程Hadoop作业吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55123662/