information-theory - 对信息论的一个很好的介绍，好吗？

Question

关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。












想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。

4年前关闭。




Improve this question




我知道 Wikipedia和 MacKay's Information Theory, Inference, and Learning Algorithms (适合作为教科书吗？)。一本教科书从香农的熵开始，通过条件熵和互信息寻求......有什么想法吗？如果你在你的大学学习这样的类(class)，使用哪种教科书？

谢谢。

Answer 1

我在 CS 学习期间使用了以下教科书 EPFL . IMO，它写得很好，有很好的解释，涵盖的内容足以介绍该领域。

Elements of Information Theory



编辑:为了进一步阅读，这里有一些我的教授推荐的其他阅读 Material 。我没有读过它们(为我感到羞耻)，所以我不能说它们是否好。

R. G. Gallager, Information Theory and Reliable Communication ，威利，1968 年。

D.麦凯，Information Theory, Inference & Learning Algorithms ，剑桥大学出版社，2008 年。(您已经提到过)

I. Csiszar 和 J. Korner，Information Theory: Coding Theorems for Discrete Memoryless Systems ，Akademiai Kiado，1997 年。

C. E. Shannon, The Mathematical Theory of Communication