scala - 如何在Zeppelin/Spark/Scala中漂亮地打印数据框?

标签 scala apache-spark apache-zeppelin

我在Zeppelin 0.7笔记本中使用Spark 2和Scala 2.11。我有一个可以这样打印的数据框:

dfLemma.select("text", "lemma").show(20,false)


输出看起来像:

+---------------------------------------------------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|text                                                                                                                       |lemma                                                                                                                                                                  |
+---------------------------------------------------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|RT @Dope_Promo: When you and your crew beat your high scores on FUGLY FROG 😍🔥 https://time.com/Sxp3Onz1w8                    |[rt, @dope_promo, :, when, you, and, you, crew, beat, you, high, score, on, FUGLY, FROG, https://time.com/sxp3onz1w8]                                                      |
|RT @axolROSE: Did yall just call Kermit the frog a lizard?  https://time.com/wDAEAEr1Ay                                        |[rt, @axolrose, :, do, yall, just, call, Kermit, the, frog, a, lizard, ?, https://time.com/wdaeaer1ay]                                                                     |


我试图通过以下方式使齐柏林飞艇的输出更好:

val printcols= dfLemma.select("text", "lemma")
println("%table " + printcols)


给出以下输出:

printcols: org.apache.spark.sql.DataFrame = [text: string, lemma: array<string>]


并以新的空白齐柏林飞艇为标题

[text: string, lemma: array]


有没有一种方法可以使数据框显示为格式正确的表格?
TIA!

最佳答案

在Zeppelin中,您可以使用z.show(df)显示漂亮的表格。这是一个例子:



val df = Seq(
  (1,1,1), (2,2,2), (3,3,3)
).toDF("first_column", "second_column", "third_column")

z.show(df)


enter image description here

关于scala - 如何在Zeppelin/Spark/Scala中漂亮地打印数据框?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44946620/

相关文章:

apache-spark - 通过 intellij 在我的本地机器上启动时如何存储 spark 的日志输出?

maven - 无法运行任务 : 'bower --allow-root install' failed

Scalatest,不能调用 invokePrivate

scala - 如何让测试在 Scalatest 中始终以相同的顺序运行?

amazon-web-services - 在AWS Glue pyspark中设置 Spark 配置

python - pyspark mongoDB 连接器问题

Scala实现Option的选择

scala - 通过使用 Scala 仅选择每第 n 个元素来减小 Spark Dataframe 的大小

linux - 如何使用 linux HDInsight 更改 zeppelin 的资源

amazon-s3 - 使用 spark 解释器从 Zeppelin 连接 S3