scala - 用于 Spark 2 的 hbase-spark

标签 scala apache-spark hbase

我想使用 ScalaSpark 2hbase 进行全面扫描。

我没有固定的目录定义,所以库为 SHC不是一个选择。

我的逻辑选择是使用 hbase-spark,它在 Spark 1.6 中运行良好

除了以前版本中关于这个库的糟糕文档之外,我在检查最新的 HBase 版本时感到惊讶,例如 tag 2.0 , hbase-spark 不见了! 但仍在 master 中。

所以我的问题是:

  • 最新版本的 hbase-spark 模块在哪里?
  • 在哪里可以找到与 Spark 2 兼容的 hbase-spark 版本?

谢谢!

最佳答案

似乎 hbase-spark 模块已从 v2.0 版本的 hbase 项目中删除

https://issues.apache.org/jira/browse/HBASE-18817

关于scala - 用于 Spark 2 的 hbase-spark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50171770/

相关文章:

hadoop - hbase 导出快照 - CorruptedSnapshotException

hadoop - 如果 RegionServer 崩溃并且数据尚未写入 DataNode 会怎样?

java - 对象没有被 mock 。抛出空指针异常

scala - Spark - 更改数据集中属于长尾的记录的值

scala - 是否可以使用类型类来实现特征?

scala - 在Scala中使用self别名=>

python - 如何从 pyspark 删除数据帧来管理内存?

scala - 使用 scala Maps 来累加值

apache-spark - 使用 Scala 转换 PySpark RDD

graph - 如何在 GraphX 中创建二部图