我在 HUE 3.12 笔记本中使用 Spark 2.1 和 Scala 2.11。我有一个可以像这样打印的数据框:
df.select("account_id", "auto_pilot").show(2, false)
输出看起来像这样:
+--------------------+----------+
|account_id |auto_pilot|
+--------------------+----------+
|00000000000000000000|null |
|00000000000000000002|null |
+--------------------+----------+
only showing top 2 rows
有没有办法让数据框显示为漂亮的表格(比如当我从 Impala 或 pyspark 查询时)?
相同查询的 Impala 示例:
最佳答案
你可以使用魔法函数 %table
,但是这个函数只适用于数据集而不是数据框。一种选择是在打印前将数据框转换为数据集。
import spark.implicits._
case class Account(account_id: String, auto_pilot: String)
val accountDF = df.select("account_id", "auto_pilot").collect()
val accountDS: Dataset[Account] = accountDF.as[Account]
%table accountDS
目前这是我能想到的解决方案。其他更好的解决方案总是受欢迎的。我会在找到任何其他优雅的解决方案后立即对其进行修改。
关于scala - 如何在 Hue/Notebook/Scala/Spark 中漂亮地打印数据框?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47514823/