java - 如何找到 Java 依赖项?

标签 java maven apache-spark spark-streaming

我正在关注this教程。我的代码是这样的:

package com.ipponusa;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaStreamingContext;

public class SparkStringConsumer {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf()
                .setAppName("kafka-sandbox")
                .setMaster("local[*]");
        JavaSparkContext sc = new JavaSparkContext(conf);
        JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(2000));

        // TODO: processing pipeline

        ssc.start();
        ssc.awaitTermination();
    }
}

我的 Maven 依赖项是:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.6.0</version>
</dependency>

问题是代码和导入都有错误。我不知道我需要什么依赖项,也不知道如何找出我需要什么依赖项。我是 Java 新手。

所以我的问题是,我应该如何知道我需要哪些依赖项?

注意:IntelliJ 或 Netbeans 的“查找 Maven 依赖项”功能都没有为我找到任何内容。

编辑:如果我去here我可以找到我正在寻找的类,但找不到那里的依赖项。

编辑:如果我去here我可以找到一长串依赖项,但找不到包含我需要的类的依赖项。

提前致谢!

最佳答案

我认为你也应该添加 Spark 核心

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.10</artifactId>
    <version>2.1.0</version>
</dependency>

关于java - 如何找到 Java 依赖项?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43812377/

相关文章:

使用 Maven 导入库时出现 java.lang.UnsatisfiedLinkError (Java3D)

java - 无效或损坏的 jarFile

apache-spark - 将 Spark 结构化流数据帧与静态数据帧连接

csv - Spark 选项 : inferSchema vs header = true

python-3.x - 在 Colab.Research.Google 上使用 Python 从位于 Google 云端硬盘中的文件创建 Spark RDD

java - 条件语句 :dead code

java - 重置java中的每个变量

java - Android - 使用 AnimatorSet 缩放动画

java - Oracle 中 CHAR 主键列的 hibernate 和填充

maven - 如何强制 sonatype nexus 3 为 maven 存储库重新创建 maven-metadata.xml?