apache-spark - Spark Sum和计数的性能问题

Question

我从 hive 表中提取数据并创建一个数据框。然后进行求和和计数操作。数据大小约为3 TB。

例

val DF1=hiveContext.sql("""SELECT col1,col2,col3,col4,count(col5) AS col5,
                           sum(col6) AS col6 from (
                                                  SELECT col1, col2, col3, col4, col5, 
                                                  sum(col6) AS col6 from <Dataframe from select fields from Table> 
                                                  group by col1, col2, col3, col4, col5
                                                  ) 
                           group by col1,col2,col3,col4
                        """)

DF1.count

这需要很多时间。您能否建议这种情况下最好的方法？

Answer 1

可能有2种情况

您的Hive配置和硬件使得Hive本身花费大量时间来获取查询

的输出

从节点之间的带宽/或传输速度很慢，因此即使Hive快速执行查询后，由于从Hive到PySpark的数据传输速度较慢，它也需要很多时间