普通 RV 上的 Matlab 'entropy()'

Question

如果我使用 Matlab entropy() 函数估计标准正态随机变量向量的熵，我得到的答案在 4 左右，而 actual entropy应该是 0.5 * log(2*pi*e*sigma^2) 大约等于 1.4。

有谁知道差异来自哪里？

注:为了节省时间这里是Matlab代码

for i = 1:1000
  X(i) = randn();
end

'The entropy of X is'

entropy(X)

Answer 1

请阅读帮助(help entropy)或documentation对于 熵。您会看到它是为图像设计的，并使用直方图技术而不是分析计算。如果您想要来自维基百科的公式，则需要创建自己的函数，但由于公式非常简单，所以应该没问题。

我认为您得到如此不同答案的原因是 entropy 按元素数量缩放直方图的 bin。如果你想使用这样的估计技术，你会想要使用 hist并按区域缩放垃圾箱。参见 this StackOverflow question .