information-theory - 压缩的任何理论限制？

Question

想象一下，在接下来的 10 年里，你拥有世界上所有的 super 计算机。你的任务是尽可能无损地压缩 10 部完整的电影。另一个标准是普通计算机应该能够即时解压缩，并且不需要花费太多的 HD 来安装解压缩软件。

我的问题是，与当今最好的替代方案相比，您可以实现多少压缩？ 1%、5%、50%？更具体地说:给定一个固定的字典大小(如果它也被称为视频压缩)，压缩是否存在理论上的限制？

Answer 1

用信息论的最新发展重新定义限制是很重要的。因此，必须报告限制有效的假设。
在信息论中，使用了以下 3 个基本假设:

信息由熵函数 H(X) 定义。

编码器和解码器都知道识别源的信息。

考虑源及其同构。这意味着我们可以一次解码一个符号。

第一个极限，最著名的，由香农定义，其中所有 3 个假设都为真。
NH(X)
使用源 X 的 H(X) 熵。
第二个限制。我们删除了解码器不知道来源的第二个假设。
NH(X)+来源信息
第三个限制，我们去掉第三个假设。在这种情况下，使用了 Set Shaping Theory SST，这是一种彻底改变信息论的新方法。该理论研究将一组字符串转换为由更大长度的字符串组成的一组相等大小的一对一函数 f。使用这种方法，我们得到以下限制:
N2H(Y)+源信息≈NH(X)
f(X)=Y 且 N2>N。
在实践中，我们在压缩方面获得了相当于获得描述源所需信息的增益。描述源所需的信息代表熵编码的不确定性。
然而，在这种情况下，不可能一次解码一个符号，而是必须在获得原始消息之前对消息进行完整解码。