python - Lasagne/Theano 梯度值

Question

我目前正在使用 Lasagne/Theano 研究循环神经网络。

训练时，使用 Theano 的符号梯度计算更新。

grads = theano.grad(loss_or_grads, params)

虽然梯度表达式一般来说非常好，但我也对梯度值感兴趣，以便监控训练。

我现在的问题是，是否有内置方法也可以获取梯度值，目前我还没有找到，或者我是否必须自己做。

提前致谢

Answer 1

我不知道有任何 lasagne 函数可以评估梯度，但您可以使用简单的 theano 函数自行获取。

假设我们有以下 theano 变量:

• inputs = 网络的输入
• targets = 网络的目标输出
• loss = 损失函数的值，定义为网络输出和目标
的函数
• l_hid = 网络的循环层，类型lasagne.layers.RecurrentLayer

假设我们对损失函数 w.r.t 的梯度感兴趣。循环权重:

grad = theano.grad(loss, l_hid.W_hid_to_hid)

定义一个theano函数来获取梯度的数值

get_grad = theano.function([inputs, targets], grad)

现在，只需为输入和目标的任何值调用 get_grad(例如，当前的小批量)。 get_grad() 不需要传递权重值，因为它们存储为 theano 共享变量。