scala - 将名称设置为RDD的优点

标签 scala apache-spark

有一些API可用于为RDD分配名称。

例如

val y = sc.parallelize(List(1,2,3))
y.setName("New Name")

有什么好处呢?是否有特定原因可以在Spark中使用此功能?

提前致谢。

最佳答案

缓存它时,您可以在“存储”选项卡上的Spark的Web UI中看到该名称。

关于scala - 将名称设置为RDD的优点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36061899/

相关文章:

scala - Play 框架 2.0 Controller /异步究竟是如何工作的?

apache-spark - Spark Streaming 清理 RDD 检查点目录

scala - Scala 中的链式比较

scala - 如何从 Spark mllib 中的交叉验证获得准确度、召回率和 ROC?

scala - 在理解中有条件地运行 Slick 语句

scala - spark : merge two dataframes, 如果 ID 在两个数据帧中重复,df1 中的行将覆盖 df2 中的行

java - 错误 SparkContext : Error initializing SparkContext. java.lang.IllegalArgumentException:系统内存 259522560 必须至少为 471859200

scala - 选择Jupyter/IPython的许多Spark/Scala内核中的哪一个?

scala - 如何在RDD中展平列表?

Scala:从特征实例化时使用 def 还是 val?