hadoop - Greenplum PXF是否支持HDFS短路读取?

标签 hadoop hdfs greenplum

我想知道当我们将pxf和datanode放在同一主机上时,Greenplum PXF是否可以利用HDFS短路读取的优势。
我们进行了初步测试,但是,pxf似乎没有利用短路读数。谷歌搜索后几乎没有任何东西,因此我们不确定是否错过了什么。
我们使用Greenplum 6.4(社区版本),pxf 5.11.2和CDH 6.3。

任何引用,建议或评论都非常感谢。

最佳答案

带有hawq的PXF的旧版本实际上位于数据节点中,并利用短路读取。
当前的PXF已更改为驻留在Greenplum段主机中,并充当hdfs客户端。
我认为您可以在短路读取的数据节点上调整pxf源代码和设置pxf。但是,您可以加快hdfs <-> pxf的通信速度,但会减慢pxf <-> greenplum段的通信速度。

关于hadoop - Greenplum PXF是否支持HDFS短路读取?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61358819/

相关文章:

apache-spark - 具有太多可抢占节点的 Google dataproc spark 集群有时会挂起

hadoop - java.io.IOException:无法添加数据节点。 HDFS(Hadoop)

hadoop - Hadoop Namenode Web UI未在CDH4中打开

hadoop - 如何监控集群的HDFS复制进度?

hadoop - 比较hadoop hdfs中的时间戳

hadoop - hadoop fs -ls:从服务器/127.0.1.1到本地主机的调用失败

linux - gpinitsystem 未知主机 mdw

linux - GNU 并行 |管道命令

hadoop - Spring-xd 容器(1.3.1) 与 Spark 1.6.1+ Hadoop 2.7.2 的兼容性