hadoop - SpatialHadoop:无法扩展多个计算节点

标签 hadoop hdfs spatial-index hadoop-plugins horizontal-scaling

我正在使用SpatialHadoop存储和索引具有8700万点的数据集。然后,我应用各种范围查询。

我在3种不同的群集配置上进行了测试:1、2和4个节点。
不幸的是,我看不到运行时间随节点数量的增加而减少。

有什么想法为什么没有水平缩放效果?

最佳答案

您的文件有多少兆字节?尽管它有8700万个点,但它仍然足够小,以至于Hadoop决定只从中创建一个或两个拆分。

在这种情况下,您可以尝试减小HDFS配置中的块大小,以便将文件拆分为几个块。

另一种可能性是您可能在同一台计算机上运行虚拟节点,这意味着您无法获得真正的分布式环境。

关于hadoop - SpatialHadoop:无法扩展多个计算节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47182682/

相关文章:

hadoop - 替换 hadoop 名称节点和日志节点的步骤

scala - MiniDFSCluster : HDFS triple slash schema extension wrong FS

hadoop - 建议hadoop架构

hadoop - 使用Spark获取有权访问hdfs文件的用户列表-Java

postgresql - Geodjango/postgres 外键关系,如空间索引

hadoop - 如何在 pig 的不同表中划分数字

hadoop - 如何从桌面上的 Tableau 连接到 VMware 上的 Hive 服务器?

scala - scala中的HDFS文件列表

mysql - 为什么这个查询不使用键(MySQL 5.7 空间)?

sql - 在oracle上创建空间索引