我正在围绕 Spark 项目编写一些 JUnit 单元测试。
我尝试测试的函数之一接受 JavaRDD 作为参数，我想以编程方式创建该 JavaRDD，并且从列表转换为 RDD 似乎是最合乎逻辑的方法。
How to convert List to JavaRDD建议我使用JavaSparkContext.parallelize(List) 。但是，由于我是在单元测试中执行此操作，因此我不想实例化 SparkContext 对象。
最佳答案
这并不是一个真正的选择，您需要使用 Spark Context 来创建 RDD。一种选择是使用 spark-testing-base (它也在 spark packages )(我是作者)创建用于测试用途的 Spark 上下文。如果它有帮助，我可以扩展它以提供一个也提供 JavaSparkContext 的基类吗？
关于java - 从没有 SparkContext 的列表创建 JavaRDD，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30494686/