信道容量为什么是通信上限
在信道编码里，我们经常说一句话：容量是信道能支持的可靠通信上限。
这句话背后是 Shannon 信道编码定理。它可以分成两半：
- Converse：如果通信速率 R 超过容量 C，错误概率不可能趋近于 0。
- Achievability：如果通信速率 R 小于容量 C，存在一组编码方案使错误概率趋近于 0。
第一半告诉我们“容量是上限”，第二半告诉我们“这个上限不是空想，而是可以逼近”。下面用尽量少的技术负担，把这两个方向的证明主线走一遍。
模型和符号
考虑一个离散无记忆信道 W(y\mid x)。每次输入为 X，输出为 Y。信道容量定义为：
C=\max_{P_X} I(X;Y)这里 P_X 是输入分布，I(X;Y) 是输入和输出之间的互信息。直觉上，I(X;Y) 衡量一次信道使用后，输出 Y 平均告诉了我们多少关于输入 X 的信息。
现在连续使用信道 n 次。发送端要发送一个消息 S，一共有 M 种可能消息。若这些消息等概率出现，则：
H(S)=\log_2 M通信速率定义为每次信道使用传多少 bit：
R=\frac{1}{n}\log_2 M所以 H(S)=nR。编码器把消息 S 映射成长度为 n 的信道输入序列 X^n=(X_1,\dots,X_n)。信道输出为 Y^n=(Y_1,\dots,Y_n)。译码器根据 Y^n 给出估计 \hat{S}。平均错误概率记作：
P_e=\Pr(\hat{S}\ne S)可靠通信的含义是：当 n 增大时，P_e 可以趋近于 0。
为什么超过容量不可能可靠
证明上限时，关键问题是：如果接收端几乎总能恢复 S，那么 Y^n 里必须包含足够多关于 S 的信息。
消息本身的信息量是：
H(S)=nR把它拆成两部分：
H(S)=I(S;Y^n)+H(S\mid Y^n)这里 I(S;Y^n) 表示接收序列 Y^n 中包含多少关于消息 S 的信息；H(S\mid Y^n) 表示看到了 Y^n 以后，对 S 还剩多少不确定性。
如果译码错误概率很小，H(S\mid Y^n) 也应该很小。这个直觉由 Fano 不等式精确表达：
H(S\mid Y^n)\le h_2(P_e)+P_e\log_2(M-1)其中 h_2(P_e) 是二元熵函数。为了看清主线，可以用一个更粗但够用的上界：
H(S\mid Y^n)\le 1+P_e nR因此：
nR\le I(S;Y^n)+1+P_e nR接下来要限制 I(S;Y^n)。消息 S 先被编码成 X^n，再经过信道变成 Y^n。信息流是：
S\to X^n\to Y^n由数据处理不等式，处理不会凭空增加关于 S 的信息，所以：
I(S;Y^n)\le I(X^n;Y^n)又因为信道是无记忆的，长度为 n 的整体互信息不会超过每次使用的互信息之和：
I(X^n;Y^n)\le \sum_{i=1}^{n}I(X_i;Y_i)而每一项 I(X_i;Y_i) 都不超过单次信道容量 C，所以：
I(X^n;Y^n)\le nC把这些不等式串起来：
nR\le nC+1+P_e nR移项并除以 n：
(1-P_e)R\le C+\frac{1}{n}如果一组编码真的可靠，那么当 n\to\infty 时应有 P_e\to 0。这时上式逼近：
R\le C这就证明了 converse：任何可靠通信方案的速率都不能超过信道容量。也就是说，容量确实是可靠通信的上限。
为什么低于容量可以可靠
上面的证明只说明了“超过容量不行”。Shannon 定理更强的地方在于：只要 R<C，可靠通信是可以做到的。
证明思路来自随机编码。选一个输入分布 P_X，如果它满足：
R<I(X;Y)那么随机生成 M=2^{nR} 个码字，每个码字按 P_X 独立生成。发送时选中对应码字，接收端根据 Y^n 找最像一起由信道产生的那一个码字。
错误主要来自两类事件：
- 真实发送的码字和接收序列看起来不匹配。
- 某个没有发送的码字也和接收序列看起来很匹配。
第一类事件由大数定律控制，n 足够大时概率会很小。第二类事件的数量大约有 2^{nR} 个候选，每个错误候选“撞上”的概率大约是 2^{-nI(X;Y)}。总的错误风险可以粗略看成：
2^{nR}2^{-nI(X;Y)}=2^{-n(I(X;Y)-R)}如果 R<I(X;Y)，这个量会随 n 指数下降。于是平均错误概率可以趋近于 0。
既然容量是所有输入分布下 I(X;Y) 的最大值：
C=\max_{P_X}I(X;Y)那么只要 R<C，就可以找到某个输入分布让 R<I(X;Y)，从而存在可靠编码方案。
这就是 achievability 的核心直觉：容量以下不是只能“希望可靠”，而是确实存在可靠通信方案。
这句话到底证明了什么
把两半合起来，Shannon 信道编码定理说的是：
- 若 R<C，存在编码和译码方案，使错误概率随码长增大而趋近于 0。
- 若 R>C，不存在这样的可靠通信方案。
所以容量 C 正好是可靠通信速率的边界。
这也解释了为什么编码理论总是在追“接近容量”。一个好码不是随便把错误率压低，而是在给定信道条件下，让码率尽量靠近 C，同时仍保持足够低的错误概率。
和 Polar 码有什么关系
Polar 码的重要性就在这里。Shannon 定理最早告诉我们：容量以下存在好码。但“存在”不等于“容易构造”。Polar 码的贡献是给出了一条明确路线：通过信道极化，把一批子信道分成越来越可靠和越来越不可靠两类，再把信息比特放到可靠子信道上。
从这个角度看，Polar 码不是在重新定义容量，而是在回答一个更工程的问题：怎样显式构造一类可以逼近容量的码。
小结
“容量是信道能支持的可靠通信上限”不是一句口号。Fano 不等式和数据处理不等式说明：如果错误概率要趋近于 0，速率就不能超过容量。随机编码思想说明：只要速率低于容量，确实可以让错误概率趋近于 0。
因此容量既是上限，也是可逼近的边界。后续学习 Polar 码时，所谓“容量可达”，本质上就是围绕这条边界展开。
参考
- C. E. Shannon, “A mathematical theory of communication,” Bell Syst. Tech. J., vol. 27, no. 3, pp. 379-423, Jul. 1948; vol. 27, no. 4, pp. 623-656, Oct. 1948, doi: 10.1002/j.1538-7305.1948.tb01338.x; 10.1002/j.1538-7305.1948.tb00917.x.
- T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed. Hoboken, NJ, USA: Wiley-Interscience, 2006.