我有一个简单的 Spark Streaming 应用程序。
我使用 JavaPairDStreams。我想知道是否可以获得最后的批量大小。我需要它来完成对 JavaPairDStream 的每个 Tuple2 执行的操作。
JavaPairDStream.count() 方法不起作用，因为它只返回一个 long 的 JavaDStream，而我只需要最后一个批量大小。
提前谢谢您。
最佳答案
您需要访问底层 rdd 并对其进行计数。
dstream.foreachRDD( rdd ->
long batchSize = rdd.count();
...
)
关于java - JavaPairDStream 中的最后一批大小，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44546187/