cassandra - java : Unable to import CassandraJavaUtil中从spark访问cassandra时出错

标签 cassandra apache-spark datastax

我正在使用以下博客进行配置以从 apache spark 访问 Cassandra。

"http://www.datastax.com/dev/blog/accessing-cassandra-from-spark-in-java "
"https://gist.github.com/jacek-lewandowski/278bfc936ca990bee35a#file-javademo-java-L177 "

但是,我无法导入 CassandraJavaUtil 类依赖项,并且我的 Eclipse 显示错误“无法解析导入”。

import static com.datastax.spark.connector.CassandraJavaUtil.*;

请帮助我解决此错误。

非常感谢。

最佳答案

我还遵循了您链接的第一个文档中的示例。您会注意到,在“先决条件”部分,第 2 步要求您将示例创建为 Maven 项目。第 3 步列出了您需要添加到项目中的四个依赖项。其中两个依赖项特定于 Spark 连接器:

  • com.datastax.spark:spark-cassandra-connector_2.10:1.0.0-rc4
  • com.datastax.spark:spark-cassandra-connector-java_2.10:1.0.0-rc4

  • 基本上,pom.xml 的“依赖项”部分对于我的 Spark 项目,如下所示:
      <dependencies>
        <dependency>
            <groupId>com.datastax.spark</groupId>
            <artifactId>spark-cassandra-connector_2.10</artifactId>
            <version>1.1.0-alpha2</version>
        </dependency>
        <dependency>
            <groupId>com.datastax.spark</groupId>
            <artifactId>spark-cassandra-connector-java_2.10</artifactId>
            <version>1.1.0-alpha2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>1.1.0</version>
        </dependency>
      </dependencies>
    

    仔细检查您的 pom.xml具有这些依赖项,然后调用 Maven 以在本地关闭 Spark 连接器库。这对我有用:
    cd workspace/sparkTest2
    mvn package
    

    关于cassandra - java : Unable to import CassandraJavaUtil中从spark访问cassandra时出错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28020030/

    相关文章:

    java - 序列化 BoundStatement cassandra

    linux - 我如何测试 storage-conf 是否正在 Cassandra 0.7.3 中加载?

    apache-spark - 如何在两个应用程序之间共享来自 Spark RDD 的数据

    scala - 从数据框中选择和处理数据的最有效方法

    python - CQLSH复制错误类型错误: 'int' object is not iterable

    database - 使用 CQL 脚本的 Cassandra 模式管理

    cassandra - spark-cassandra-connector 性能 : executors seem to be idle

    performance - Cassandra 和 Tombstones : Creating a Row , 删除行,重新创建行 = 性能?

    Python3 : cassandra. cluster.NoHostAvailable : ("Unable to connect to any servers using keyspace ' test '", [' 127. 0.0.1']) 使用execute_async future

    java - 加入数据框 spark java