我想知道，是否有人知道计算机日志上的开源异常检测算法？例如，计算机日志如下所示:
“值 UL-CCCH-Message::= {integrityCheckInfo { messageAuthenticationCode 0，rrc-MessageSequenceNumber 0 }，消息 cellUpdate :{ u-RNTI { srnc-Identity 232，s-RNTI 178710 }，startList { { cn-DomainIdentity ps-domain，起始值 58 } }，am-RLC-ErrorInductionRb2-3or4 FALSE，am-RLC-ErrorInductionRb5orAbove FALSE，cellUpdateCause cellReselection，rb-timer-indicator { t314-expired FALSE，t315-expired FALSE }，measuredResultsOnRACH { currentCell { modeSpecificInfo fdd : { 测量数量 cpich-Ec-N0 : 24 } } } }"
有一种方法，我可以从日志中提取特征并对时间序列数据应用异常检测，但还有另一种方法是我会自动从日志中发现一般模式并制定规则/标准(如果 future 日志属于一般)模式，如果没有则其异常。我想知道在日志中查找自动模式发现的任何算法。
如果您有这方面的专业知识，请分享您的想法。
谢谢 亲切的问候， 腰带
最佳答案
您问题的直接答案是 - 您提供的计算机日志没有开源异常检测算法(我猜输出来自电信 BTS，对吧？)。
只有异常检测算法 - 例如频繁模式挖掘、k-means 等。
大多数情况下，所有异常检测算法都可以作为 Python、R、Matlab 等编程包的一部分提供。因此，我们不需要寻找算法。
现在我认为你真正的问题是:
there is way , i could extract features from logs and apply anomaly detection on time series data but there is also one other way is that i will discover general pattern from log automatically and make rule/ criteria , if future log belong to general pattern , if not not then its anomaly . I want to know any algoritm to find automatic pattern discovery in logs .
没有现成的系统可以实现上述功能。我建议的最佳选择是:使用 SumoLogic/Splunk 或类似类型的解决方案进行基于文本的搜索。这些工具将帮助您解决问题。然而，最终这些异常的准确性将成为一个问题。
因此，答案是:您需要构建一个自定义的ML系统(具有特征提取+优化+算法+可视化)来解决检测时间序列BTS计算机日志中的异常的问题。您的可交付成果(您到底要交付什么 - 异常、见解、分析)将对您将使用的算法、功能和参数产生重大影响。
我已经在上面工作了一年半多了，我真的建议你从小事开始 - 比如基于文本的搜索软件 - 它对于日常技术支持故障排除来说已经足够了。
附注一个小提示 - 看看人们如何在网络安全中构建入侵检测系统 - 他们正在解决相同的问题(正常与异常异常、基于序列的分析等)
关于machine-learning - Syslog 上的异常检测，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22685261/