1948年，在美国贝尔实验室工作的数学家香农发表了题为《通信的数学理论》（A Mathematical Theory of Communication）的文章。这篇文章提出的理论很快就得到了世人的认可，奠定了香农信息论的基础。香农信息论开启了人类信息和通信技术发展的新时代。

香农信息论由信源编码理论、信道编码理论和信息率-失真理论三部分组成。

①信源编码理论。信源编码理论认为所有的信息都起源于不确定性，而这种不确定性可以用统一的概率模型描述。基于此概率模型的计算，可以得到统一的信息度量方法。香农在文章中正式提出了现在人们所熟知的比特的概念，比特是信息度量的基本单位。对于信息这个丰富而缥缈的概念，香农的理论抓住了所有信息的最本质的共性。现在在广为使用的互联网上，各种信息都可以传播，就是香农信息概念成功的印证。

②信道编码理论。在运用信源编码理论解决了信息的表达问题之后，香农紧接着提出了信道编码理论来解决信息的传输问题。当所有的信息都可以用比特序列表示之后，如何把这个比特序列从空间一点可靠地传输到空间另一点就是人们熟知的通信问题。通信的手段多种多样，有线的、无线的，有线里面又包括双绞线、电缆、光纤等等。香农通过一个统一的概率模型抓住了所有这些通信信道的共性，并且提出了实现可靠通信的编码方法。

③信息率-失真理论。信源编码理论在一类特殊问题下的进一步发展。当某个信源有无限多种可能时，例如，产生模拟信号的信源，要完全刻画此信源需要无穷多个比特。因此，在实际应用中，当只可能使用有限多个比特时，就不得不对原始信源做某种程度的近似。香农发现能够实现的最优近似结果(即最小的失真)，不但随着可使用比特数的多少单调变化，而且可以通过一简洁的数学公式准确表达。

香农信息论有着很明显的应用背景，是完全建立在概率论基础上的一套数学理论，自成逻辑体系。香农的三个基本理论的核心结论都是利用概率论中的弱大数定理证明的。所以，当理解信源编码定理中刻画信息量多少的熵的概念时，当理解信道编码定理中刻画信道容量大小的互信息的概念时，当理解信息率-失真定理中对失真的度量概念时，这些概念都是在大样本平均下才具有实际的意义。

但香农的贡献并不是简单地应用了大数定理，他创造性地发展了典型序列的思想。典型序列的提出不仅与通信中的编码问题直接相关，是香农用来思考和证明其三个基本理论的共同的核心方法和工具，而且也对概率与统计的发展产生了深远的影响。尽管有人抱怨香农原始论文中的证明并不严格，一直到20世纪60年代，随着典型序列方法在数学上的严格化，香农信息论的基本定理才最终得以严格证明，但香农的思想是无误的，其所提出的方法直到今天还是最简单和直接的证明方法。

香农信息论，特别是熵的概念，已经被很多人应用到很多不同的领域。但是，正如香农早在其文章题目中指出的，通信才是香农信息论真正核心的领域。

在香农的所有理论结果中，最让通信专家吃惊的是信道编码定理：每一个信道都有一个固定的容量值，如果信息传输率低于这个值，那么一定可以通过某种编码方式实现信息可靠的传输，即出错概率趋于零；如果信息传输率高于这个值，那么无论如何编码，信息都不可能可靠的传输，而且出错概率趋于1。这完全颠覆了传统的认识，因为更直观的想象，似乎总能通过改进技术提高通信速率，而一个随机信道的出错概率怎么也不可能在给定通信速率的情况下趋于零。

对通信学界来说，1948年以前是古代，1948年之后是现代。香农从理论上指出了通信所能达到的最好结果。但在具体应用上，虽然香农在文章中已经给出了一种最优编码方法，但因其指数级的计算复杂度而无法使用。所以，香农信息论诞生之后的几十年里科学家们主要在努力寻找各种可实现的编码方法，朝着香农给定的目标不断前进。已经发现了两种非常接近香农极限的可实现的编码方法：LDPC码和Turbo码。其中，LDPC码早在20世纪60年代就被提出，但因其复杂度相对于当时的计算能力来说过高，直到20世纪90年代在Turbo码之后才被验证其高效性。有意思的是，这两种编码方法都用到的随机生成的思想早已蕴含在香农1948年的文章之中。