hadoop - Giraph、Hadoop、Spark 和 Cassandra

标签 hadoop apache-spark cassandra giraph

如果我有 Spark 集群和 Cassandra 但没有 Hadoop 集群,我可以使用 Giraph 吗?

目前,我正在使用 GraphX,并想改用 Giraph。考虑到我有 Spark 集群并且正在使用 Cassandra,这是否可能?

最佳答案

几年前我对 Giraph 的使用经验有限,而且我从未尝试过在 Hadoop 集群之外使用它。但看起来你想要的东西即使不一定容易,至少在技术上是可行的。

code使用 Apache Giraph 进行实用图形分析 的姊妹篇。如您所见,例如,它在 DoubleWritableText 的类路径中需要 Hadoop,但它对 Hadoop 集群没有任何作用。相反,它适用于内存数组。看起来您需要做的就是在 BasicComputation class 中实现 compute只要您将 Hadoop 作为依赖项来帮助满足 BasicComputation 的类型边界,就可以使用 Cassandra 做任何您需要的事情。

我从来没有发现 Giraph 非常直观,但希望你能使这个非常规的设置工作。

关于hadoop - Giraph、Hadoop、Spark 和 Cassandra,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43164082/

相关文章:

hadoop - 了解 stackoverflow 底层软件基础设施

hadoop - PIG 和 HIVE 可以称为独立的编程模型吗?

apache-spark - 运行 spark-shell 时出错 : ERROR Remoting: Remoting error: [Startup failed]

pandas - 如何从 Spark 以 Feather 格式\存储保存文件?

java - 如何使用 Astyanax 查询多个复合列前缀?

hadoop - 在 Hadoop 中读取分布式文件

hadoop - 为什么大公司使用其他数据库,为什么不使用HDFS?

java - Spark 删除临时目录失败

cassandra - 如何在gremlin titan图数据库和java中的valueMap()中获取边和顶点属性

java - 将一个请求拆分到多个 tomcat 服务器以从 Cassandra DB 获取数据