如何在spark中生成具有多个字段的大量(百万)记录。我不从文件中读取数据，但数据将是随机生成的数据。我想根据该数据创建RDD.
最佳答案
可以引用Random data generation由 Spark 提供。
RandomRDDs 提供工厂方法来生成随机双 RDD 或向量 RDD。
import org.apache.spark.SparkContext
import org.apache.spark.mllib.random.RandomRDDs._
val sc: SparkContext = ...
// Generate a random double RDD that contains 1 million i.i.d. values drawn from the
// standard normal distribution `N(0, 1)`, evenly distributed in 10 partitions.
val u = normalRDD(sc, 1000000L, 10)
// Apply a transform to get a random double RDD following `N(1, 4)`.
val v = u.map(x => 1.0 + 2.0 * x)
关于apache-spark - 如何在spark中生成大量记录，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41141356/