python - 删除每列(和相应行)中的异常值

Question

我的 Numpy 数组包含 10 列和大约 200 万行。

现在我需要分别分析每一列，找出离群值；并从数组中删除整个对应行。

所以我会开始分析第 0 列；在第 10,20,100 行找到异常值；并删除这些行。 接下来，我将开始分析现在修剪过的数组中的第 1 列；并应用相同的过程。

当然，我可以想到一个正常的手动过程来执行此操作(遍历每一列，找到离群值的索引，删除行，继续到其他列)，但我总是发现 Numpy 包含一些快速巧妙的技巧完成这些统计任务。

如果您能详细说明该方法的运行时成本；甚至更好。

我不限于这里的 NumPy 库，如果 SciPy 有帮助，那么使用它就没有问题。

谢谢!

Answer 1

两种非常直接的方法，第二种方法稍微复杂一些:

arr = np.random.randn(2e6, 10)

def remove_outliers(arr, k):
    mu, sigma = np.mean(arr, axis=0), np.std(arr, axis=0, ddof=1)
    return arr[np.all(np.abs((arr - mu) / sigma) < k, axis=1)]

def remove_outliers_bis(arr, k):
    mask = np.ones((arr.shape[0],), dtype=np.bool)
    mu, sigma = np.mean(arr, axis=0), np.std(arr, axis=0, ddof=1)
    for j in range(arr.shape[1]):
        col = arr[:, j]
        mask[mask] &= np.abs((col[mask] - mu[j]) / sigma[j]) < k
    return arr[mask]

性能取决于你有多少异常值:

In [38]: %timeit remove_outliers(arr, 1)
1 loops, best of 3: 1.13 s per loop

In [39]: %timeit remove_outliers_bis(arr, 1)
1 loops, best of 3: 983 ms per loop

In [40]: %timeit remove_outliers(arr, 2)
1 loops, best of 3: 1.21 s per loop

In [41]: %timeit remove_outliers_bis(arr, 2)
1 loops, best of 3: 1.51 s per loop

当然还有:

In [42]: np.allclose(remove_outliers(arr, 1), remove_outliers_bis(arr, 1))
Out[42]: True

In [43]: np.allclose(remove_outliers(arr, 2), remove_outliers_bis(arr, 2))
Out[43]: True

我会说第二种方法的复杂性并不能证明其潜在的加速是合理的，但是 YMMV...