python - 我的余弦相似度有什么问题？ tensorflow

Question

我想在我的神经网络中使用余弦相似度，而不是标准点积。

我查看了 dot product并在 cosine similarity .

在上面的示例中，他们使用

a = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a,0)        
normalize_b = tf.nn.l2_normalize(b,0)
cos_similarity=tf.reduce_sum(tf.multiply(normalize_a,normalize_b))
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={a:[1,2,3],b:[2,4,6]})

但是，我尝试按照自己的方式做

x = tf.placeholder(tf.float32, [None, 3], name = 'x') # input has 3 features
w1 = tf.placeholder(tf.float32, [10, 3], name = 'w1') # 10 nodes in the first hidden layer
cos_sim = tf.divide(tf.matmul(x, w1), tf.multiply(tf.norm(x), tf.norm(w1)))
with tf.Session() as sess:
      sess.run(cos_sim, feed_dict = {x = np.array([[1,2,3], [4,5,6], [7,8,9], w1: np.random.uniform(0,1,size = (10,3) )})

我的方法错了吗？另外，矩阵乘法发生了什么？我们实际上是将一个节点的权重与不同样本的输入(在一个特征内)相乘吗？

Answer 1

您的示例中存在尺寸问题，我认为 w1 应该具有 [3, 10] 形状。但忽略这些小细节，您的实现似乎是正确的。

不过，我建议采用一种更接近上面示例的方法，即使用 tf.nn.l2_normalize，因为它保证返回与输入相同的形状，因此可以灵活地选择尺寸沿其正常化。另外，tf.nn.l2_normalize当分母接近零时提供数值稳定性，并且可能会更有效。

a = tf.placeholder(tf.float32, shape=[None, 3], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[3, 10], name="input_placeholder_b")

normalize_a = tf.nn.l2_normalize(a, dim=0)
normalize_b = tf.nn.l2_normalize(b, dim=0)
cos_similarity=tf.matmul(normalize_a, normalize_b)

sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={
  a: np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
  b: np.arange(30).reshape([3, 10])
})
print cos_sim

它给出的结果与你的相同。