spark-streaming - 关于 Spark 流,start()、awaitTermination() 和 stop() 的用例是什么

标签 spark-streaming

我是 Spark 流的新手。
我正在开发一个从终端获取数据并加载到 HDFS 中的应用程序。
我在互联网上搜索但不明白如何停止流媒体应用程序,一旦它被触发?

如果您能向我解释 sc.awaittermination() 的用例,我将不胜感激和 sc.stop() .

最佳答案

开始 - 到目前为止,代码的实际执行还没有开始。在 start() JobScheduler 启动之后,这又会启动 JobGenerator 来创建作业。

等待终止 - 它在内部使用一些条件变量来检查是否在代码中显式调用了 stop() 或应用程序终止 (Ctrl+C)。

关于spark-streaming - 关于 Spark 流,start()、awaitTermination() 和 stop() 的用例是什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37791685/

相关文章:

python - 使用 python 进行 Spark 流处理时出现错误?

pyspark - Spark Streaming - 处理二进制数据文件

scala - Actor 的 Spark 流

java - 在 Spark Streaming 中使用 count() 作为整数

cassandra - 如何使用 saveTOCassandra()

java - 在 Spark 中查找数据的最佳选择

scala - Spark 流 (Spark 1.6) 与结构化流 (Spark 2.2)

apache-spark - spark.streaming.kafka.maxRatePerPartition 如何与 spark.streaming.backpressure.enabled incase 与 Kafka 进行 Spark 流相关?

scala - Spark Streaming窗口操作

scala - 使用不同的 StreamingContext 相继打开两个 KafkaStream