hadoop - 当网络连接(TCP IP)关闭时如何停止 Spark Streaming 上下文？

Question

换句话说，我不想将 Spark 流上下文中的“持续时间”设置为一个值，而是将其设置为(套接字关闭时间 - 套接字打开时间)

Answer 1

您可以使用StreamingListner接口(interface)监听接收者是否断开连接，然后关闭流上下文。

这用作

// define listener
class MyListener extends StreamingListener {
  override def onReceiverStopped(...) {
    streamingContext.stop()
  }
} 

// attach listener
streamingContext. addStreamingListener(new MyListener())