用字节丈量世界 香农理论

信息科学

大家好，我是主播欧锋，现在为大家介绍美国科学家特伦斯谢诺夫斯基所著《深度学习——智能时代的核心驱动力量》


我从来没有想过,有一天我会成为无所不知的人,而事实上,我和现在任何能上网的人都做到了。信息在互联网上以光速传播,从互联网上获取信息比从书架上的书里获取信息更方便。我们生活在各种形式的信息爆炸的时代。科学仪器,从望远镜到显微镜,搜集的信息量远超现在训练机器学习所使用的数据集。美国国家安全局使用机器学习来过滤他们从各处搜集到的信息。经济活动走向了数字化,许多公司对有编程技能的人才的需求量与日俱增。在世界从工业经济走向信息经济的同时,教育和职业培训也必须适应这一变化。这一切已经对我们的世界产生了深远影响。


用字节丈量世界

1948年,在AT&T公司位于新泽西州默里山的贝尔实验室里,克劳德・香农( Claud Shannon,见图)提出了一种非常简单却很微妙的信息理论,来理解有噪声的电话线里的信号传输问题。香农的理论推动了数字通信的革命,并为移动电话、数字电视以及互联网的诞生奠定了基础。打电话的时候,你的声音被编码为比特”,通过无线电波和数字电缆传送到接收端,接收端再将比特解码并转化为声音。信息论给通信信道的带宽确定了上限通近香农极限的不同编码也被设计了出来。

尽管世界上的信息形式丰富多样,有一种测量方式却能够精确测量一个数据集中信息的大小。信息的单位是二进制比特,每个比特只能有0或1两种值。一个字节包含8个比特。高质量照片的信息内容以兆字节或者说百万字节计数。手机的存储信息以吉字节(GB)或称千兆字节计数。网络上的数据以拍字节(PB)或称百万吉字节计数。

香农的通信系统模型。该消息被编码成二进制比特,并沿着一条可能是电话线或无线电波的信道向下传输,在终端被接收和解码。以“每秒比特数”为单位的信道客量取决于系统中的噪声量。
香农定理理论是信息科学的基础性理论。

20200211