scala - 如何使用scala运行Spark Streaming的Twitter流行标签？

Question

我是 Spark 新手，请指导。

有很多与使用 Scala 进行 Spark 流处理相关的示例。

您可以从https://github.com/apache/incubator-spark/tree/master/examples/src/main/scala/org/apache/spark/streaming/examples查看.

我想运行 TwitterPopularTags.scala。

我无法为此示例设置 Twitter 登录详细信息。

http://spark.incubator.apache.org/docs/latest/streaming-programming-guide.html#linking-with-spark-streaming

我成功运行了网络计数示例。

但是当我执行时
./run-example org.apache.spark.streaming.examples.TwitterPopularTags local[2] 然后它会显示身份验证失败问题...

我在 TwitterPopularTags.scala 中初始化字符串上下文之前设置了 Twitter 登录详细信息，如

 System.setProperty("twitter4j.oauth.consumerKey", "####");
 System.setProperty("twitter4j.oauth.consumerSecret", "##");
 System.setProperty("twitter4j.oauth.accessToken", "##");
 System.setProperty("twitter4j.oauth.accessTokenSecret", "##");

请指导。

Answer 1

在运行 Twitter 示例之前，将文件“twitter4j.properties”放入 Spark 根目录(例如 Spark-0.8.0-incubating)。

twitter4j.properties:

oauth.consumerKey=***
oauth.consumerSecret=***
oauth.accessToken=***
oauth.accessTokenSecret=***

在 Mac 上为我提供了 Scala 示例。