python - 使用滚动窗口准确检测数据帧中具有重复值(相同头部和相同尾部)的序列

Question

我有一个多个 pandas 数据框，每个数据框有一列包含值，另一列包含相应的匹配时间。

即:[z,x,y,n,z,z,x 等] [1.234, 2.4467, 2.999, 6.432, 9.6764 等]

我想检测特定模式(即 z,x,y,n,z)并创建一个新列，其中包含有关该值是否是序列一部分的信息(称为“seq_bool”，具有 True 或 False)对于每个值)。看起来像这样:

0    1    seq_bool
z  1.234  True
x  2.4467 True
y  2.999  True
n  6.432  True
z  9.6764 True
x  10.111 False
y  11.344 False
z  12.33  True
x  14.33  True
y  15.66  True
n  19.198 True
z  20.222 True
[...]

然后我使用这些信息来计算相应时间点的一些统计数据，基本上只获取序列的一部分值。

我已经通过以下代码从 stackoverflow 上找到的解决方案中得到了这个

    def rolling_window(a, window):
    shape = a.shape[:-1] + (a.shape[-1] - window + 1, window)
    strides = a.strides + (a.strides[-1],)
    c = np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides)
    return c
arr = new_df[0].values
b = np.all(rolling_window(arr, N) == sequence_pattern, axis=1)
c = np.mgrid[0:len(b)][b]

d = [i for x in c for i in range(x, x + N)]
new_df['seq_bool'] = np.in1d(np.arange(len(arr)), d)

我的问题是这不能准确识别序列，因为序列以相同的字符开始和结束(即 'z' )

具体来说，如果我的数据中有以下值 [z, x, y, n, z, x, y, n, z]，则该函数会识别所有这些值都是序列的一部分(并且都是'正确')，但实际上并非如此。只有一个正确的序列(即[z, x, y, n, z])。

我对 python 有点陌生，我不知道如何解决这个问题。有没有办法指定，当找到序列时，输出必要的变量，然后丢弃它并前进到列中的下一个值？ 不要错误地将前一个正确序列的尾部(即 z)作为新序列的开头。

谢谢

Answer 1

在您已有的基础上，在使用它之前，您可以删除 c 中与前一个值的距离小于 5 的所有值，并确保在使用之前删除相关值继续。也就是说，如果 c = np.array([0, 7, 11, 15])，我们会删除 11 但保留 15。

现在，您可以根据需要对其中的部分进行矢量化，但否则您要寻找的内容就归结为

i = 0
while i < len(c)-1:
    if c[i+1] - c[i] < 5:
        c = np.delete(c, i+1)
    else:
        i += 1