假设我有一个连续的日志条目流(例如防火墙日志)，我需要一个能够处理事件流并对它进行一些实时计算的工具(例如计算来自不同 IP 的访问次数地址超过一个时间窗口 - 比如 10 分钟)并在满足某些条件时触发警报(例如访问次数 > 100)。
我知道 Storm Project , InfluxDB , OpenTSDB , KairosDB , 但除了 Strom 它们看起来不像是为这种处理而设计的工具。我的问题是是否有人知道更适合此类工作的工具。
最佳答案
您可以将您的消息(日志条目)提供给 Kafka排队并与它集成 Storm ， Storm 和卡夫卡之间有一个很好的集成称为KafkaSpout这是一个从 Kafka 集群读取的 spout。
要在一段时间内进行实时处理，您可以查看 Esper这通常是一个复杂的事件处理单元(CEP)。正如您提到的那样，对于进行事件流处理应该非常有用。
关于logging - 实时日志处理和警报生成，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19831178/