python - 如何使用 Scikit-learn Standard Scaler 对时间序列数据进行标准化？

Question

我正在使用Keras ，所以数据的形状是(batch_size，timesteps，input_dim)。和Standard Scaler正好适合二维数据。

我认为的一个解决方案是使用部分拟合，然后进行变换。

scaler = StandardScaler()
for sample in range(data.shape[0]):
    scaler.partial_fit(data[sample])

for sample in range(data.shape[0]):
    data[sample] = scaler.transform(data[sample])

这是正确/有效的方法吗？

Answer 1

你有两种可能性

data = np.random.randn(batch_size*time_length*nb_feats).reshape((bsize,time,feats))

版本 1 正在执行您所说的操作:

scaler = StandardScaler()
for sample in range(data.shape[0]):
    scaler.partial_fit(data[sample])

for sample in range(data.shape[0]):
    data[sample] = scaler.transform(data[sample])

另一种可能性(版本 2)是展平数组、拟合和变换，然后 reshape 它

scaler = StandardScaler()
data   = scaler.fit_transform(data.reshape((bsize*time,feats))).reshape((bsize,time,feats))

在我的电脑

版本 1 需要 0.8759770393371582 秒

版本 2 需要 0.11733722686767578 秒