Python:在列表中查找异常值

Question

我有一个包含随机数量的整数和/或浮点数的列表。我想要实现的是在我的数字中找到异常(希望用正确的词来解释这一点)。例如:

list = [1, 3, 2, 14, 108, 2, 1, 8, 97, 1, 4, 3, 5]

90% 到 99% 的整数值在 1 到 20 之间

有时会有更高的值，比如大约 100 或 1.000 甚至更多

我的问题是，这些值可能一直不同。也许常规范围在 1.000 到 1.200 之间，而异常(exception)范围在 50 万左右。
有没有过滤掉这些特殊数字的功能？

Answer 1

假设您的列表是 l :

如果您知道要过滤某个百分位数/分位数，则可以
用:
这将删除底部 10% 和顶部 90%。当然，你可以改变任何一个
它们到您想要的截止值(例如，您可以删除底部过滤器，只过滤示例中的前 90%):

import numpy as np
l = np.array(l)
l = l[(l>np.quantile(l,0.1)) & (l<np.quantile(l,0.9))].tolist()

输出:

[ 3  2 14  2  8  4  3  5]

如果您不确定百分位截止值并且正在寻找
去除异常值:
您可以通过调整参数 m 来调整异常值的截止值在
函数调用。它越大，删除的异常值越少。与其他异常值去除技术相比，此函数似乎对各种类型的异常值更稳健。

 import numpy as np 
 l = np.array(l) 
 def reject_outliers(data, m=6.):
    d = np.abs(data - np.median(data))
    mdev = np.median(d)
    s = d / (mdev if mdev else 1.)
    return data[s < m].tolist()
 print(reject_outliers(l))

输出:

[1, 3, 2, 14, 2, 1, 8, 1, 4, 3, 5]