python - 使用 Python 进行异常检测

Question

<分区>

Answer 1

这是解决该问题的简单机器学习方法，也是我开始解决该问题并开发基线分类器的方法:

建立脚本语料库并附加标签“好”(标签= 0)或“差”(标签= 1)，越多越好。尽量确保“坏”脚本占整个语料库的合理比例，50-50 好/坏是理想的。

开发指示可疑或不良脚本的二进制功能。例如，“eval”的存在，“base64_decode”的存在。尽可能全面，不要害怕包含可能也捕获一些“好”脚本的功能。帮助做到这一点的一种方法可能是计算两类脚本中单词的频率计数，并选择在“坏”中显着但在“好”中不太显着的单词作为特征。

在语料库上运行特征生成器并构建带有标签的特征二元矩阵。

将语料库分成训练集(80% 的示例)和测试集 (20%)。使用 scikit 学习库，使用训练集训练几种不同的分类算法(随机森林、支持向量机、朴素贝叶斯等)，并在未见过的测试集上测试它们的性能。

希望我有合理的分类准确度作为基准。然后我会着眼于改进功能、一些无监督方法(无标签)和更专业的算法以获得更好的性能。

对于资源，Andrew Ng 的 Coursera 机器学习类(class)(我相信其中包括示例垃圾邮件分类)是一个好的开始。