人类先后经历过3次跨时代的工业革命，蒸汽机革命，让人们开始享受机械设备解放的夸张生产力，电力革命，让电力驱动的设备进入千家万户。信息革命从二战开始之后一直延续到现在，接近百年时间，每隔几年就会有突破性的产品问世。从个人电脑，到社交，媒体，再到大数据，大模型，人工智能等等，这一切信息革命之后的产品其实都是从一个小小的比特开始的。
工业革命的时代
什么是比特呢？这是一个记录信息的最小单位。创造这个词的数学家叫香农，他首次将我们耳熟能详的信息通过量化的方式开启了基础性研究。他的成就为了后来大规模计算机以及通信产业发展奠定了最基础的理论。
1916年4月30日，克劳德·艾尔伍德·香农（Claude Elwood Shannon）出生在美国密歇根州。香农身上汇集了所有天才与生俱来的气质，用远远超过普通人的天赋度过了自己的学生时代。比如，他8岁的时候就可以辅导姐姐完成高等数学的题目，中学时代，就可以自己纯手工鼓捣出一个有效通讯距离半英里的电报机。也许这只是小香农手搓出来无数发明中不起眼的一个，但是这个发报机却预示着他伟大学术研究的开端。
集成电路
于是接下来，香农以非常优秀的成绩进入了顶级大学。1932年，香农进入密歇根大学，同时主修数学和电子工程，数学和电子简直就是王牌搭档，有了坚实的数学功底，在电子专业上简直如虎添翼，对待同一个问题，香农可以从纯电力电子专业分析，也可以从纯数学方面分析，举一反三，事半功倍。1936年，香农毕业再进入麻省理工学院深造。
麻省理工
将天赋带到麻省之后，很快香农就崭露头角，1938年他发表了论文《继电器和开关电路的符号分析》。后来这篇被后世誉为“20世纪最重要、最著名的一篇硕士论文”，同时也是他的硕士毕业论文。如果诺贝尔奖有信息学奖，这篇硕士论文就足以获奖，比德布罗意的物质波博士论文还要牛逼。这篇论文题目看似平平无奇，其实内藏玄机。在这篇论文里，香农第一次把继电器的开关与布尔代数里的真假对应起来。在香农那个时代，布尔代数已经创立近百年，各种理论也都相当完善。于是在香农理论的指引下，对于复杂电路分析，最终都可以简化成一些布尔代数的运算分析中来，如果一套控制逻辑用布尔代数的方式分析有效，那么就最终是可以创造并实现的。
布尔代数基础逻辑
香农在这篇论文里还证明了一个非常有用的命题。那就是任何一个复杂的逻辑如果逐次拆分，最终都是由一大堆“与”“或”“非”这3种基本逻辑。只要适当使用这3种最基础的逻辑，再配合继电器等执行机构，再复杂的控制原理都可以实现。在香农那个时代认为继电器是主要的通断执行器件，还没有来到集成电路的时代。我们现在知道了，集成电路也完全遵循香农创造这套理论，只是相对于一个控制电路板上数十个继电器变成了集成电路时代的数十亿个晶体管而已，但是本质从来没有变过！
可以说，香农的这个成就为后世辉煌的计算机时代，集成电路时代，搭好了最坚实的理论基础。这年香农仅仅22岁。
发明家 香农
1941年，香农到贝尔实验室工作，这又是一个天才聚集的地方，人类20世纪最重要科学技术的发源地。香农这个时候专注于有效通信的问题，也就是如何用最低的成本最有效的方式，在充满噪声的环境里将信息有效无损地传递过去？这个问题在当时是相当急迫的，1941年也正是二战打得最惨烈的时候，盟军被德国的恩尼格玛弄得焦头烂额。
在香农之前，从来没有人系统研究过信息到底是个什么东西。信息到底要如何被定义，如何被计算，如何被使用？
数学家 香农
香农苦苦思索了7年时间，1948年，32岁的香农发布了爆炸性的论文《通信的数学理论》（A Mathematical Theory of Communication）。从题目也能看出来，香农终于从数学角度将信息量化了，信息这个概念再也不是虚无缥缈的，人类开始有工具对他进行数字化研究了。1949年，香农又发表了《噪声下的通信》一文，进一步完善了信息论的理论体系。这两篇文章的发布，标志着信息论作为一门独立的科学被创立。
信息论专家香农
香农解决了3个最要且基础的问题。
问：什么是信息？答：信息就是要消除不确定的东西。
问：信息怎么被计量？答：创立信息熵这个概念来解释。
问：信息传输的极限是多少？答：我用一个计算信道容量的数学公式来推算。
第一个概念里的信息定义问题，其实非常符合人们的理解。一件事发生的概率越小，信息量就越大，假如一件事是必然事件，那么就没有信息量。比如你同时摇3个骰子（前提是你不是赌神），能够出现3个6的概率大概是1/216，这是个极低的概率，那么这件事的信息量就极大。在一个刮风下雨且零下的冬天明天是否下雪？这个事情的信息量就很小了，在冬天刮风下雨还零下，第二天下雪那肯定是个大概率事件，这种大概率事件基本上不会引起人们的关注。从香农关于信息定义来看，信息量大小往往伴随着一些主观表现，比如，赔率大对应信息量大，关注度高对应信息量大等等。
掷骰子
第二个概念是基于第一个信息的定义的，前一个说定义，后一个就得说量化方式。香农借助热力学种熵的概念，给出了一个叫做信息熵的东西来量化信息量大小。这个公式这样
信息熵公式
其中pi表示第i种消息出现的概率，n表示消息的种类。很明显，当某个事件概率越低，算出来信息熵H就越大。假如这个事件概率是1，那很明显，H就等于零。
用上面掷骰子的例子来计算下信息熵。
掷骰子信息熵
有次可见，一次性掷出来3个6的信息熵居然有7.755比特，那么这个概率实在是太小了！
这里要分辨出1比特是和1bit的区别。虽然说这两个名词衡量的信息量都是仅有2个选择其中1个的意思。但是1比特是表明了这个事件的概率分布情况，而1bit仅是个信息最小计量单位，仅有1位，要么是1要么是0，这里的1bit跟我们常用的1KB,1MB,1GB,1TB本质上一样，是衡量一个文件需要占用的存储空间的大小。
最后一个是个最实际的问题：如果我要传输信息，到底要如何才能确保有效无损传输过去呢？香农也用数学公式给出答案。
信道容量公式
其中C表示信道容量（单位：比特/秒），B表示信道带宽（单位：赫兹），S/N表示信噪比（信号功率与噪声功率的比值）。这个公式告诉我们，如果想让信号传递得更快，要么提高信号带宽，要么提高信噪比，仅此而已。同时也给出一个信号传输得上限是多少，传输速率再大也不能超过信道容量上限，否则会出现信号失真不可靠。另外一方面，采用更加精巧得编码方式，就可以在不超过信道容量上限的前提下，尽可能将数据更多传递出去。这也是通信技术上永远不停的目标。
今天的我们早已被信息包围
香农这个关于信道传输的公式，也打破了人类一直以来的固有观念，认为，数据传输速率和可靠性是不可调和的，你不能同时兼顾传输速率极快，可靠性还极高。香农告诉人们这是完全可能的，只不过在香农那个时代对于通信编码的研究才刚刚开始，对于数据速率传输的概念也刚刚才有。不过这套理论已经为后世无数石破天惊的传输技术立下了前进的旗帜。
5G早已遍布
进入90年代以来，无线通讯技术得到非常迅猛的发展，目前已经发展到第5代通讯。也就是5G时代的到来，现在可以做到上下行速率为14.8 Gbps / 4.2 Gbps，相当于你可以在疫苗下载一部4K超清电影。在遥远的1960年代，阿波罗非常地月通讯速率仅为1600bps，60年过去了人类的通讯速率大概增长了800多万倍，而数据传输装置重量以及功耗却下降到原来的1000分之一！可想而知，过去的几十年，通讯技术是人类发展最最迅猛的领域之一。可以预见未来的6G时代，研究的重心仍然是在紧扣信道带宽和信噪比。
阿波罗飞船的地月通信
香农一生跨专业研究领域极广，在数学，密码学，遗传学，计算机科学，甚至人工智能领域都做出过突出贡献。他一生淡泊名利，基本上很少出现在公众场合，他不是那种可以在聚光灯下仍然潇洒自如的科学家。直到2001年，84岁的香农在家乡去世。
我们现在仍然处在一个通讯的大爆发的时代，截止到2026年，最火爆的人工智能，大模型处在科学的最前沿。我们早就被天花乱坠的信息所包围，我们的每一次手机通话、每一次大模型咨询、每一次数据存储，都在践行着香农的理论。这位信息学的开山鼻祖用自己一生的研究为人类打开了信息时代的大门，他开创了最辉煌的信息时代革命。
版权声明：本文转载于今日头条，版权归作者所有，如果侵权，请联系本站编辑删除
