我在使用 Spark 流的应用程序中启用了 writeAheadLog。记录到底什么时候会写入 writeAheadLog？是在调用 store(...) 时还是在接收/接受记录后立即进行？当我尝试实现一个可靠的接收器时，我想首先收集一堆记录，然后再实际存储它们。现在我可以确定，如果应用程序在存储之前失败，缓冲区中尚未调用 store() 的记录将出现在 writeAheadLog 中吗？
此外，当应用程序重新启动时处理日志中的记录的正确方法是什么。我想存储这些事件，有没有一种简单的方法可以访问它们？
最佳答案
我做了一些测试，看起来记录是在 store() 上写入 writeAheadLog 的。这意味着在存储之前需要采取额外的操作来确保收集记录的缓冲区的故障安全。
关于java - 何时使用 Spark Streaming 将记录写入预写日志？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37655211/