我想训练一个也返回预测区间的神经网络,这样我就可以了解我对预测的信心。似乎有四种主要方法可以实现这一目标,这在论文《基于神经网络的预测区间的综合回顾和新方法》中进行了总结。 进展”:https://ieeexplore.ieee.org/document/5966350
我对均值方差估计(MVE)方法感兴趣,因为它似乎是最容易理解的。然而,我正在努力弄清楚如何在 Keras 中实现这一点。
我猜损失函数将定义为:
def mve_cost(y_true, y_pred, var_pred):
loss = 0.5*tf.reduce_sum(tf.log(var_pred) + tf.divide((tf.square(y_true - y_pred)),(tf.square(var_pred))) )
return loss
但是 Keras 中的损失函数可以接受三个输入吗?我以前从未见过这个。此外,方差神经网络的目标事先未知,并且会考虑均值神经网络所做的预测。我想这将需要 Keras 功能 API 的一些更灵活的功能,但我对如何将其组合在一起感到困惑。
- 如何正确定义 MVE 方法的损失函数?
- 如何在 Keras 功能 API 中实现两个神经网络之间的棘手关系?
- 有人知道这个方法已经在网上实现了吗?
- 是否有另一种在 Keras 中更容易理解/实现的为神经网络生成预测区间的方法?
最佳答案
像这样的方法并不容易实现,但是有一个技巧。像这样定义损失:
import keras.backend as K
def regression_nll_loss(sigma_sq, epsilon = 1e-6):
def nll_loss(y_true, y_pred):
return 0.5 * K.mean(K.log(sigma_sq + epsilon) + K.square(y_true - y_pred) / (sigma_sq + epsilon))
return nll_loss
然后定义一个具有两个输出的模型,一个用于均值,另一个用于方差:
from keras.models import Model
from keras.layers import Dense, Input
inp = Input(shape=(1,))
x = Dense(32, activation="relu")(inp)
x = Dense(32, activation="relu")(x)
mean = Dense(1, activation="linear")(x)
var = Dense(1, activation="softplus")(x)
train_model = Model(inp, mean)
pred_model = Model(inp, [mean, var])
train_model.compile(loss=regression_nll_loss(var), optimizer="adam")
train_model.fit(x, y, ...)
mean, var = pred_model.predict(some_input)
诀窍是显式地将方差的张量传递给损失,因此它只需要两个输入,并且仅对均值进行监督。然后,您需要定义两个共享权重的模型,一个用于训练,另一个用于测试/推理。后一个模型返回均值和方差。
请记住对方差使用 softplus 激活以使其保持正值。我已经实现了此损失以与 Deep Ensembles 一起使用,你可以找到一个例子here .
关于python - 神经网络预测区间——MVE方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58476704/