hadoop - Apache Nifi 无法写入 HDFS

标签 hadoop hdfs apache-nifi hortonworks-data-platform hortonworks-dataflow

当我尝试使用 PutHDFS 处理器将文件放在 HDFS 上时出现以下错误:

ERROR

我使用 HortonWorks 沙箱 HDP 和 HDF(Windows 上的 docker 容器)。好像是Nifi的问题,HDFS没问题,可以放/写/读。

我正在尝试修复此问题但没有结果,我已经删除了 docker 的 HDP 镜像并获得了一个新的,但也没有结果。

最佳答案

通常,该错误意味着写入 HDFS 的任何内容都能够到达名称节点,但无法到达数据节点。在您的情况下,这很可能是两个容器之间的网络配置问题。

您可以通过从场景中消除 NiFi 并在运行 NiFi 的容器上安装 Hadoop 客户端来测试这一点,然后尝试使用 Hadoop 命令行将文件写入 HDFS。我希望您会遇到同样的错误。

如果是这样,请确保您可以从 HDF 容器 ping 数据节点主机名,确保打开了正确的端口,并确保数据节点接受来自所有主机的连接,而不仅仅是来自本地主机。

关于hadoop - Apache Nifi 无法写入 HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50627054/

相关文章:

hadoop - 命令 "hadoop namenode -format"会改变整个硬盘文件系统类型吗?

scala - 通过spark从kafka到hdfs

java - Hadoop stdout始终为空,写入的字节为零

java - NiFi bootstrap.conf 文件上出现 Unsupported java 错误

apache-nifi - 如何一次清空Nifi中的所有队列?

HADOOP组合器运行功能

Hadoop distcp 异常

python - 从 Hadoop mapreduce 作业打开 HDFS 上的文件

apache - Nifi org.apache.thrift.transport.TTransportException

hadoop - reducer 输出的每个键的值列表的排序