python - Keras:val_loss 和 val_accuracy 没有改变

标签 python tensorflow keras

我正在尝试建立一个 LSTM 模型来预测股票第二天是上涨还是下跌。如您所见，一个简单的分类任务让我卡住了几天。我只选择 3 个特征来输入我的网络，下面我展示了我的预处理:

# pre-processing, last column has values of either 1 or zero
len(df.columns) # 32 columns
index_ = len(df.columns) - 1
x = df.iloc[:,:index_]
y = df.iloc[:,index_:].values.astype(int)

删除任何 nan 值:

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf, 'NaN', 'nan']).any(1)
    return df[indices_to_keep].astype(np.float64)

df = clean_dataset(df)

然后我采用 3 个选定的特征并显示 X 和 Y

的形状 
selected_features = ['feature1', 'feature2', 'feature3']
x = x[selected_features].values.astype(float)
# s.shape (44930, 3)
# y.shape (44930, 1)

然后我将我的数据集分成 80/20

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20, random_state=98 )

这里我正在 reshape 我的数据

x_train = x_train.reshape(x_train.shape[0], x_train.shape[1], 1) 
x_test = x_test.reshape(x_test.shape[0], x_test.shape[1], 1) 
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)

这是每一个的新形状:

x_train.shape = (35944, 3, 1)
x_test.shape = (8986, 3, 1)
y_train.shape = (35944, 1)
y_test.shape = (8986, 1)

x_train 集的第一个样本在 reshape 之前

x_train[0] => array([8.05977145e-01, 4.92200000e+01, 1.23157152e+08])

x_train 集的第一个样本 reshape 后

x_train[0] => array([[8.05977145e-01],
                     [4.92200000e+01],
                     [1.23157152e+08]
                      ])

确保我的训练集中没有 nan 值 x_train 和 y_train:

for main_index, xx in enumerate(x_train):
  for i, y in enumerate(xx):
    if type(x_train[main_index][i][0]) !=  np.float64:
      print("Something wrong here:" ,main_index, i)
else:
  print("done") # one done, got nothing wrong

终于在这里训练了LSTM

def build_nn():
    model = Sequential()    
    model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) , 
    model.add(Dropout(0.20))
    model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
    model.add(Dropout(0.10))
    model.add(Dense(32, activation='relu'))
    model.add(Dropout(0.10))
    model.add(Dense(1, activation='sigmoid'))
    opt = Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.01)
    model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
    return model

filepath = "bilstmv1.h5"
chkp = ModelCheckpoint(monitor = 'val_accuracy', mode = 'auto', filepath=filepath, verbose = 1, save_best_only=True)


model = build_nn()
model.fit(x_train, y_train, epochs=15, batch_size=32, validation_split=0.1, callbacks=[chkp])

这里是 CNN:

model.add(Conv1D(256, 3, input_shape = (x_train.shape[1], 1), activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Conv1D(128, 3, activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.15))
model.add(Dense(1))
model.add(Activation("sigmoid"))
# opt = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, decay=0.01)
# opt = SGD(lr=0.01)
model.compile(loss='binary_crossentropy', optimizer='adamax', metrics=['accuracy'])

在我开始训练之前一切似乎都很好，训练时 val_loss 和 val_accuracy 都没有改变

Epoch 1/15
1011/1011 [==============================] - 18s 10ms/step - loss: 0.6803 - accuracy: 0.5849 - val_loss: 0.6800 - val_accuracy: 0.5803

Epoch 00001: val_accuracy improved from -inf to 0.58025, saving model to bilstmv1.h5
Epoch 2/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6782 - accuracy: 0.5877 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00002: val_accuracy did not improve from 0.58025
Epoch 3/15
1011/1011 [==============================] - 9s 8ms/step - loss: 0.6793 - accuracy: 0.5844 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00003: val_accuracy did not improve from 0.58025
Epoch 4/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6784 - accuracy: 0.5861 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00004: val_accuracy did not improve from 0.58025
Epoch 5/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6796 - accuracy: 0.5841 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00005: val_accuracy did not improve from 0.58025
Epoch 6/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6792 - accuracy: 0.5842 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00006: val_accuracy did not improve from 0.58025
Epoch 7/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6779 - accuracy: 0.5883 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00007: val_accuracy did not improve from 0.58025
Epoch 8/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6797 - accuracy: 0.5830 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00008: val_accuracy did not improve from 0.58025

我试图改变我在这里和那里看到的每一件事，但没有任何效果，我确信我的数据中没有 nan 值，因为我在预处理步骤中删除了它们。 我尝试运行 CNN 来检查它是否与 LSTM 相关，并得到相同的结果(两件事中的任何一件都没有改变)。此外，在尝试了不同的优化器之后，一切都没有改变。非常感谢任何帮助。

这是完成所有预处理后的数据集链接: https://drive.google.com/file/d/1punYl-f3dFbw1YWtw3M7hVwy5knhqU9Q/view?usp=sharing

使用决策树我能得到 85%

decesion_tree = DecisionTreeClassifier().fit(x_train, y_train)
dt_predictions = decesion_tree.predict(x_test)
score = metrics.accuracy_score(y_test, dt_predictions) # 85

注意:预测测试对所有测试集 (x_test) 具有相同的值，这告诉我们为什么 val_accuracy 没有改变。

最佳答案

这里有多个问题，所以我将尝试逐步解决所有问题。

  1. 首先，机器学习数据需要具有模型可以推断和预测的模式。 股票预测是高度不规则的，几乎是随机的，我会将任何 50% 的准确度偏差归因于统计方差。

  2. NN 可能很难训练并且“天下没有免费的午餐”

import pandas as pd
import numpy as np

import tensorflow as tf

from tensorflow.keras import *
from tensorflow.keras.layers import *
from tensorflow.keras.optimizers import *

file = pd.read_csv('dummy_db.csv')

x_train = np.expand_dims(file[['feature1', 'feature2', 'feature3']].to_numpy(), axis=2)
y_train = file['Label'].to_numpy(np.bool)


model = Sequential()
model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) ,
model.add(Dropout(0.20))
model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
model.add(Dropout(0.10))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.10))
model.add(Dense(1, activation='sigmoid'))
opt = SGD(learning_rate = 0, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=1, batch_size=128, validation_split=0.1)

用于识别初始精度的零 LR 训练步骤。您会看到初始准确率为 41%(这个准确率是命中或未命中，稍后会解释)。

316/316 [==============================] - 10s 11ms/step - loss: 0.7006 - accuracy: 0.4321 - val_loss: 0.6997 - val_accuracy: 0.41

我将 LR 保持在较小的 (1e-4) 以便您可以看到精度发生的变化

opt = SGD(learning_rate = 1e-4, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=15,batch_size=128, validation_split=0.1)

Epoch 1/15 316/316 [==============================] - 7s 9ms/step - loss: 0.6982 - accuracy: 0.4573 - val_loss: 0.6969 - val_accuracy: 0.41

Epoch 2/15 316/316 [==============================] - 2s 5ms/step - loss: 0.6964 - accuracy: 0.4784 - val_loss: 0.6954 - val_accuracy: 0.41

Epoch 3/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6953 - accuracy: 0.4841 - val_loss: 0.6941 - val_accuracy: 0.49

Epoch 4/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6940 - accuracy: 0.4993 - val_loss: 0.6929 - val_accuracy: 0.51

Epoch 5/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6931 - accuracy: 0.5089 - val_loss: 0.6917 - val_accuracy: 0.54

Epoch 6/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6918 - accuracy: 0.5209 - val_loss: 0.6907 - val_accuracy: 0.56

Epoch 7/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6907 - accuracy: 0.5337 - val_loss: 0.6897 - val_accuracy: 0.58

Epoch 8/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6905 - accuracy: 0.5347 - val_loss: 0.6886 - val_accuracy: 0.58

Epoch 9/15 316/316 [==============================] - 2s 6ms/step - loss: 0.6885 - accuracy: 0.5518 - val_loss: 0.6853 - val_accuracy: 0.58

** 为简洁起见省略了其余的运行 **

如果您重新运行训练，您可能会发现该模型最初的准确率为 58%，而且再也没有提高。这是因为除了看似存在于 58% 的最小值之外，它没有实际学习的特征，而我不相信实际案例中的最小值。

让我再补充一些证据

import pandas as pd

file = pd.read_csv('dummy_db.csv')
sum(file['Label'])/len(file)

0.4176496772757623

这就是正确的数量，同时有 58% 的错误。因此，正在发生的事情是您的模型正在学习预测所有情况下的错误并获得次优的 58% 准确度。我们可以证明这个说法

sum(model.predict(x_train) < 0.5)

array([44930])

这就是你经常性的 58% 的真正原因，我认为它不会做得更好。

  1. 您似乎没有正确使用 LSTM。 LSTM 输入的格式为 [batch, timesteps, feature]，我认为您的输入实际上不是时间步长。 你可以阅读更多here ，这个问题很好地解释了为什么 LSTM 对于您的数据来说是一个糟糕的选择。有更好的 ML 分类器，包括 DL 和非 DL，它们在这方面比使用 LSTM 更好。 编辑: https://datascience.stackexchange.com/questions/38328/when-does-decision-tree-perform-better-than-the-neural-network更好地解释了这一点。

那么现在怎么办？

  1. 获得更好的数据。
  2. 阅读有关某人进行股票预测的文献，看看他们到底做了什么。

关于python - Keras:val_loss 和 val_accuracy 没有改变，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/66719167/

上一篇：java - 前台服务被杀

下一篇：python - lask.cli.NoAppException : While importing "app", 引发了 ImportError:

相关文章：

tensorflow - Keras二元分类: same prediction output class

python - Keras 线程安全吗？

python - 带有 Python 3 的 wsgi 中的 openID

python - 加快 Selenium 中的网络抓取速度

python - 为什么我们使用 numpy.argmax() 从 numpy 预测数组中返回索引？

tensorflow - CNN-LSTM 的批量归一化层

python - 在 Python 中验证 URL

python - 使用 Python 按键和小时减少桶

python - 将 tf.dataset 中的每个样本映射到 id

python - 层序的输入 0 与预期的 ndim=3 层不兼容，发现 ndim=2。收到完整形状 : [None, 1]

©2024 IT工具网  联系我们