我需要设置 Spark Streaming 应用程序。应用程序的作业需要根据整个应用程序的运行时间做出一些决策。
例如，假设 Spark Streaming 应用程序于 08:00 提交。 08:00 到 10:00 之间运行的作业应执行加操作，而 10:00 之后运行的作业应执行减操作。
如何记录第一个作业(或应用程序)的开始时间并确定每个作业与第一个作业之间的间隔？或者还有其他好的解决办法吗？
最佳答案
SparkContext 的 startTime()方法返回其激活的时间。
关于apache-spark - 如何获取Spark Streaming运行时间，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59501863/