python - 如何在Tensorflow中计算所有二阶导数(只有Hessian矩阵的对角线)?

原文 标签 python tensorflow

我有一个损失值/函数,我想计算关于张量f(n的)的所有二阶导数。我成功地使用了两次tf.gradients,但是当第二次应用它时,它对第一个输入的导数求和(参见我的代码中的second_derivatives)。
我还设法检索了黑森矩阵,但我只想计算它的对角线,以避免额外的计算。

import tensorflow as tf
import numpy as np

f = tf.Variable(np.array([[1., 2., 0]]).T)
loss = tf.reduce_prod(f ** 2 - 3 * f + 1)

first_derivatives = tf.gradients(loss, f)[0]

second_derivatives = tf.gradients(first_derivatives, f)[0]

hessian = [tf.gradients(first_derivatives[i,0], f)[0][:,0] for i in range(3)]

model = tf.initialize_all_variables()
with tf.Session() as sess:
    sess.run(model)
    print "\nloss\n", sess.run(loss)
    print "\nloss'\n", sess.run(first_derivatives)
    print "\nloss''\n", sess.run(second_derivatives)
    hessian_value = np.array(map(list, sess.run(hessian)))
    print "\nHessian\n", hessian_value

我的想法是,t f.梯度(一阶导数,f[0,0])[0]可以用来检索,例如,关于f_的二阶导数,但张量流似乎不允许从张量的一片推导出来。

最佳答案

现在考虑一下黑森特遣部队,

tf.hessians(loss, f)

https://www.tensorflow.org/api_docs/python/tf/hessians

相关文章:

python - 如何使用cifar在Keras中训练单层神经网络?

python - 虽然明显可用,但未使用Tensorflow GPU

python - Python 3.4.3-每行打印多个int

python - 如何在Python中使用这种字符串匹配re?

python - 使用另一个数据框的值更新数据框-python

python - Keras无法在回调中计算图节点

python - WSGI作为AuthFormProvider

python - Reportlab platypus-禁用表拆分

c++ - Tensorflow对象检测API是否有C ++包装器?

python - 如何遍历设置不同变量到函数的输出?