我正在使用SpatialHadoop存储和索引具有8700万点的数据集。然后,我应用各种范围查询。
我在3种不同的群集配置上进行了测试:1、2和4个节点。
不幸的是,我看不到运行时间随节点数量的增加而减少。
有什么想法为什么没有水平缩放效果?
最佳答案
您的文件有多少兆字节?尽管它有8700万个点,但它仍然足够小,以至于Hadoop决定只从中创建一个或两个拆分。
在这种情况下,您可以尝试减小HDFS配置中的块大小,以便将文件拆分为几个块。
另一种可能性是您可能在同一台计算机上运行虚拟节点,这意味着您无法获得真正的分布式环境。
关于hadoop - SpatialHadoop:无法扩展多个计算节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47182682/