一直在尝试使用 Spark 和 Scala 将数据写入 HBase。要求是 - 我必须根据来自业务的列的时间戳为 HBase 记录设置 TTL。
我无法编译我的代码，详情如下。
- 为此，我正在使用 HBase Spark Alpha 4 连接器(hbase-spark-2.0.0-alpha4.jar)。
- 将列的时间戳值转换为 Epoch Timestamp 并尝试根据它设置 TTL。
- 当我尝试在 Spark Shell 中执行相同的代码时 - 它是无缝执行的，我能够在 HBase 中看到预期的输出。
- 但是当我尝试在 Eclipse 中编译它时 - 它失败并出现以下错误。
[ERROR] error: missing or invalid dependency detected while loading class file 'HBaseContext.class'. [INFO] Could not access type Logging in package org.apache.spark, [INFO] because it (or its dependencies) are missing.
有人可以提供解决此问题的意见吗？
最佳答案
在我的例子中，我重新编译了连接器:https://github.com/apache/hbase-connectors.git使用基于我的项目的参数。就像:
mvn -Dspark.version=2.2.2 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install
没有错误。
提示:groupId与maven center repo中的groupId不同
关于scala - HBase Spark - 与 Spark 2.0 的连接，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53408751/