scala - 如何从 scala 导入 TwitterUtils 库

Question

我正在使用DSE 4.8。我正在尝试使用以下方法导入 twitterutils 库:

import org.apache.spark.streaming.twitter.TwitterUtils

显示错误:

object twitter is not a member of package org.apache.spark.streaming.

请让我知道如何添加包以便我可以传输 Twitter 数据

Answer 1

我认为您错过了添加依赖项 Spark-streaming-twitter。

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-twitter_2.10 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-twitter_2.10</artifactId>
    <version>1.6.1</version>
</dependency>

如果您有互联网连接，您也可以使用 --package 选项让 Spark 自动下载 jar。

spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.1.0

** 根据您的 Spark(scala) 版本更改库的版本