当我尝试使用 PutHDFS 处理器将文件放在 HDFS 上时出现以下错误:
我使用 HortonWorks 沙箱 HDP 和 HDF(Windows 上的 docker 容器)。好像是Nifi的问题,HDFS没问题,可以放/写/读。
我正在尝试修复此问题但没有结果,我已经删除了 docker 的 HDP 镜像并获得了一个新的,但也没有结果。
最佳答案
通常,该错误意味着写入 HDFS 的任何内容都能够到达名称节点,但无法到达数据节点。在您的情况下,这很可能是两个容器之间的网络配置问题。
您可以通过从场景中消除 NiFi 并在运行 NiFi 的容器上安装 Hadoop 客户端来测试这一点,然后尝试使用 Hadoop 命令行将文件写入 HDFS。我希望您会遇到同样的错误。
如果是这样,请确保您可以从 HDF 容器 ping 数据节点主机名,确保打开了正确的端口,并确保数据节点接受来自所有主机的连接,而不仅仅是来自本地主机。
关于hadoop - Apache Nifi 无法写入 HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50627054/