1.11.1 经典信息论
Shannon 1948 年定义了嵌入在一个随机变量中的不确定性的量。
假设 𝑝 = {𝑝1, 𝑝2, ⋯ , 𝑝𝑛} 是一个概率分布，𝑋 是服从分布 𝑝 的
随机变量，定义嵌入在 𝑋 中的不确定性的量为：
𝑛
𝐻(𝑋) = − ∑ 𝑝𝑖 𝑙𝑜𝑔2 𝑝𝑖,
𝑖=1
称为 𝑋 的熵。
给定一个联合概率分布 𝑝(𝑥, 𝑦)，假设 𝑋 和 𝑌 分别是两个随机变量，使得 (𝑋, 𝑌) 服从联合概率分布 𝑝(𝑥, 𝑦)，Shannon 定义了 𝑋 和
𝑌 的互信息为：
𝑝(𝑥, 𝑦)
𝐼(𝑋; 𝑌) = ∑ ∑ 𝑝(𝑥, 𝑦) log 𝑝(𝑥)𝑝(𝑦) .
𝑥 𝑦
互信息 𝐼(𝑋; 𝑌) 表示了知道 𝑌 的情况下消除的嵌入在 𝑋 中的不确定性的量，也表示在知道 𝑋 的情况下消除的嵌入在 𝑌 中的不确定性的量。
Shannon 1948 年证明了如下通信原理：
（1）（数据）假设发送方想传输的数据为 𝑊，它是一个随机变量。
（2）（编码）通过一个纠错码 𝐸 把 𝑊 编码为
𝑋 = 𝐸(𝑊).
（3）（信道传输）发送方把 𝑋 通过由一个条件概率分布 𝑝(𝑦|𝑥)
定义的通信信道发送，传输给收方。
（4）（信息）收方收到 𝑌，它是一个随机变量，当收到 𝑌 后，收方获得的信息为 𝐼(𝑋; 𝑌)，即已知 𝑌 的情况下消除的嵌入在 𝑋 中的不确定性的量。
（5）（通信原理）当 𝐼(𝑋; 𝑌) 适当大时，存在解码器 𝐷，使得
𝐷(𝑌) = 𝑊,
即解码器 𝐷 根据 𝑌 就可以把发送方想发送的数据 𝑊 解码出来。
Shannon 1948 年的论文应用概率方法证明了以上通信原理。
到目前为止的信息论就是在不断优化 Shannon 的通信原理。但是整个信息论没有超出 Shannon 通信模型与通信原理的范畴。
Shannon 的理论完美地解决了通信问题，为通信建立了数学原理，这个原理正是通信从 1G 到 5G 通信技术的理论支撑。毫无疑问， Shannon 的理论也是 20 世纪的一个重大科学贡献。
Shannon 的科学贡献在于：
（1）度量了嵌入在一个随机变量的不确定性的量，即该随机变量的熵；
（2）通信信道可以用一个条件概率分布来表示；
（3）信息是消除的不确定性；
（4）信道传输是消除不确定性，即获得信息，的动作或操作；
（5）信道传输所获得的信息是可以度量的；
（6）信息是有用的，通过信道传输所获得的信息可以解码出发送方想发送的数据。
这就为通信技术提供了数学原理。
（5G 通信技术已经接近实现了 Shannon 原理的极限，因此，6G需要新的通信原理。如果没有新的通信原理，原则上来说 6G 是不靠谱的。）