java - 除了使用 Java 在 Spark 中进行计数检查之外，还有哪些方法可以检查 DataFrame 是否为空？

Question

if(df.count()== 0){
    System.out.println("df is an empty dataframe");
 }

上面是一种在不获取数据的情况下检查 DataFrame 是否为空的方法 空指针异常。

在 Spark 中是否还有其他最好的方法来执行此操作，因为我担心如果 DataFrame df 获取数百万条记录，则上述语句将需要很长时间才能执行。

Answer 1

我最近遇到了这样一个场景。以下是检查 dataframe 是否为空的一些方法。

• df.count() == 0
• df.head().isEmpty
• df.rdd.isEmpty
• df.first().isEmpty

尽管最好避免 count() 因为它更昂贵。然而，在某些情况下，您可能非常确定 dataframe 要么有单行，要么根本没有记录(例如:在中执行 max() 函数Hive 查询)。在这种情况下，可以使用 count()。