如果我有 Spark 集群和 Cassandra 但没有 Hadoop 集群,我可以使用 Giraph 吗?
目前,我正在使用 GraphX,并想改用 Giraph。考虑到我有 Spark 集群并且正在使用 Cassandra,这是否可能?
最佳答案
几年前我对 Giraph 的使用经验有限,而且我从未尝试过在 Hadoop 集群之外使用它。但看起来你想要的东西即使不一定容易,至少在技术上是可行的。
这code是使用 Apache Giraph 进行实用图形分析 的姊妹篇。如您所见,例如,它在 DoubleWritable
和 Text
的类路径中需要 Hadoop,但它对 Hadoop 集群没有任何作用。相反,它适用于内存数组。看起来您需要做的就是在 BasicComputation
class 中实现 compute
只要您将 Hadoop 作为依赖项来帮助满足 BasicComputation
的类型边界,就可以使用 Cassandra 做任何您需要的事情。
我从来没有发现 Giraph 非常直观,但希望你能使这个非常规的设置工作。
关于hadoop - Giraph、Hadoop、Spark 和 Cassandra,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43164082/