请选择 进入手机版 | 继续访问电脑版

 找回密码
 立即注册
搜索
查看: 336|回复: 3

为什么说香农是 20 世纪技术贡献最大的工程师?

[复制链接]

78

主题

109

帖子

446

积分

中级会员

Rank: 3Rank: 3

积分
446
发表于 2022-1-30 10:18:37 | 显示全部楼层 |阅读模式
为什么说香农是 20 世纪技术贡献最大的工程师?

“在 20 世纪的伟大工程师群体中,谁对我们 21 世纪的技术贡献最大?我认为是克劳德·香农(Claude Shannon)。”——iRobot、Rethink Robotics 和 Robust AI 的联合创始人 Rodney Brooks


克劳德·香农(Claude Shannon)是信息论的创始人,被认为是信息时代之父。1916年,香农出生于美国密西根州的Petoskey。他的父亲是法官,母亲是中学校长。他的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械,这对香农后来在科学领域的发展有很大影响。

少年时期
香农8岁的时候就展现出了卓越的智商和对科学的热爱。一般而言,应该是已经读大学的姐姐给他辅导功课。但那时他却总是一把拿过姐姐的高数作业,一口气就解决了姐姐半天也没算出来的题目。姐姐看着他写得工整严谨的作业目瞪口呆。后来姐姐也当上了数学系的教授,并不是姐姐能力不行,只是香农实在太厉害。也许继承了远房亲戚爱迪生的基因,香农特别喜欢做手工。他对同龄人爱玩的那些纸飞机丝毫没有兴趣,反而是电报机、电动船,还有机械动物这些能让他精神抖擞。
1936年香农在密西根大学获得数学与电气工程学士学位,年仅20岁。毕业后,他在美国最好的理工类学校麻省理工学院继续深造并担任数学助教。


1938年香农在麻省理工获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析),被认为是逻辑门的鼻祖。当时,电磁继电器——利用磁力打开和关闭电气开关的小型设备——被用来构建电话路由或控制复杂机器的电路。然而,关于如何设计或分析此类电路并没有一致的理论。人们对它们的看法仅仅是继电器线圈是否通电。香农表明布尔代数可以用来从继电器本身转移到对电路功能的更抽象的理解。他使用这种逻辑代数来分析,然后综合开关电路,并证明整个电路按预期工作。在他的论文中,他发明了 AND、OR 和 NOT 逻辑门。逻辑门是所有数字电路的基石,计算机科学的整个大厦都以此为基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”


1940年香农在MIT获得数学博士学位,而他的博士论文却是关于人类遗传学的,题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛,后来他在不同的学科方面发表过许多有影响的文章。
在读学位的同时,他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机,用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论),他写道:“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件,有些条件可以生成一个或多个变量的函数,有些条件可使常微分方程得到解。还给出了一些注意事项,给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。”
1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon,1854-1929)1892年在Electrician上发表的论文理论。
香农在1943年曾与英国逻辑学家和数学家图灵(A. Turing)有过交集。当时图灵正在美国访学,但却各事其主。他们各自具体的工作都涉及到军方机密,因此均守口如瓶。那时他们二人均在从事密码分析工作,但目标却相反。图灵要对付如何破译德军的密码,以避免德军的U型潜艇对英国商船的袭击。而香农的工作则是探究X系统的工作,该系统就是用来加密通信的,以确保坐阵五角大楼的罗斯福和在大西洋另一端丘吉尔办公室之间的语音通话不被窃听。一个是破译通信密码,一个是加密通信内容。既然密码的问题不能进行讨论,那就谈些纯的学术问题吧。图灵给香农看来他1936年写的那篇著名文章“论可计算数及其在判定问题上的应用”。图灵所谓的“判定性问题”就是能否发现严格的、分步的算法,给定某种演绎推理的形式语言,这样就可以用机器证明。这一思想呼应了莱布尼茨的梦想。莱布尼茨的梦想用现代计算机科学的术语表达就是“能行可计算”的过程。


1945年,香农终于完成了“密码术的数学理论”的保密报告。从密码分析的角度看,系统中的有噪通信系统与密码系统没什么不同,数据流故意被弄得表面上看上去是随机的。但事实上绝非如此,否则其中的信号也会丢失。从某种意义讲,密码也是一种语言,就像日常语言一样,是符合一定模式的东西,换句话说,密码深处也具有相应的模式隐匿其中。从语言学的角度出发,当时的语言学家就是试图从语言含糊不清而又连绵不断的形状和声音中找出其结构。语言学家萨丕尔(E. Sapir)在1921年的名著《语言论》中便论述道:“单个语音并不是言语的实质性事实;语言的实质性事实毋宁说在于思维的分类、形式模式……语言,作为一种结构来看,它的内部是思维的模具。”多么精致的描述,语言的特质是“思维的模具”!香农的任务就是需要找到比日常语言更有形,更易数的方式来描述语言这种“思维的模具”。香农的这篇文章于1949年解密后发表,题目是“密码术的数学理论”。该文刚一发表就引起轰动,香农也随之为美国政府聘为密码事务顾问。这篇论文为对称密码系统的研究建立了一套数学理论,从此密码术变成为密码学了,由一门艺术或技艺变成一门真正的科学。香农曾在这篇论文中指出,好的密码系统的设计问题本质上是寻求一个困难问题的解,使得破译密码等价于解某个已知数学难题。这句话含义深刻,但却不难理解。不就是老师出了道数学难题,学生就要解题吗?如果老师的水平高,学生水平低,肯定就无法解答数学题了。
也就是在这篇保密报告中,香农几乎随意使用了先前无人用到过的说法,这就是“信息论”(Information Theory)。要想建立用数学建立信息论的理论,香农首先要做到将信息中的“意义”去除。这个打了引号的“意义”是香农自己加上的。他曾高兴地说,对于信息论而言,可以不去考虑“意义”的问题。之所以在用数学的语言描述的信息论中剔除“意义”的目的,在于使自己的研究更加清晰明确。他需要把握的是“信息”而非“意义”,在此之前奈斯奎特和哈特利都注意到了这一点,香农也希望将信息集中在“物理”层面,排除其中的“心理因素”。可是,抽去语义的信息还会剩下什么呢?对这个难题,有几种可能的回答,例如信息可以是不确定性,是困难程度,也可以是熵。
香农在贝尔实验室
香农的关于信息论的文章于1948年分二期发表在《贝尔系统技术期刊》上。这份出版物几乎没有什么图书馆订阅,类似于我们今天某单位的内部参考之类。当时的研究人员几乎是靠口口相传的蠢笨方式获知香农的工作。于是就纷纷给香农直接写信索要该文的复印本。即便如此,也没几个人能读懂香农的文章。原因是工程师认为该文数学内容太深了;数学家又对文章中的工程学背景缺乏了解。可是,毕竟还是有慧眼识金的人物。时任洛克菲勒基金会自然科学部主任的韦弗(W. Weaver)认识到该文的价值。他告诉基金会的主席,香农之于通信理论的贡献,就如同“吉布斯之于物理化学”。1949年,韦弗在《科学美国人》杂志发表了一篇不是很技术化的赞誉香农工作的普及文章,深入浅出地介绍了香农工作的重要性。之后韦弗的文章和香农的论文被集结成书,以《通信的数学理论》(The Mathematical Theory of Communication)为题公开出版。请注意,香农的论文题目用的是不定冠词“A”,而韦弗与他合著的书却用了定冠词“THE”。在英语中,从不定冠词变为定冠词马上就从谦虚变为自负!难道香农的信息论不是自负的一种理论吗?它的问世改变了一个时代!



回复

使用道具 举报

78

主题

109

帖子

446

积分

中级会员

Rank: 3Rank: 3

积分
446
 楼主| 发表于 2022-1-30 10:18:59 | 显示全部楼层

贝尔实验室于1948年分别诞生了二项重要成果,一项是肖克利(W. Shockley)等三人发明替代电子管的晶体管,那是终结电子管的产品(肖克利等三人因此获1956年的诺贝尔奖);一项就是香农的信息论,那是开创新时代的数学理论。香农的信息论究竟是个什么理论?我们说是个“数学理论”,关于“通信的”数学理论。作为常人,似乎会认为通信的基本问题是让自己的意图被人所理解,传递的是意义。可对于数学家的香农而言,则大错特错了。他认为:“通信的基本问题是,在一点精确地或近似地复现在另一点所选取的讯息。”香农所说的“点”(point)是经过选择的。它意味着,讯息的信源和信宿可在时间上相分隔。同时,讯息并非创造出来的,而是选择出来的。换句话说,一条讯息就是一个选择,选择可以多种多样。当然,香农还是不能不考虑到意义的问题,可作为数学家,他还是将其拒斥在数学门外:“这些讯息往往都带有意义,即根据某种体系,它们指向或关联了特定的物理或概念实体。但通信的信息工程方面和语义无关。”
香农仅仅从数学的角度解释信息,常常被人所诟病。认为他的信息论是狭隘的。对信息的诠释过于狭窄。我想作为数学家的香农,他也无可奈何。毕竟数学是不是科学,而是科学的工具,具有高度的抽象性;要想让具有高度抽象的数学负荷内容,难免免为其难。还是韦弗努力进行了解释,说这不是一种狭隘的通信概念,恰恰相反,这样的概念包罗万象:“不仅涵盖了口语和书面语,还有音乐、图像艺术、戏曲、芭蕾乃至所有的人类行为。”其实还包括非人类,机器就没有讯息要传递吗?按照中国人的理解,“少既是多”来说明香农对信息的解释,似乎再恰当不过了。即便如此,香农还是被人“追杀”,他最后实在没办法,干脆就说了句尴尬的话:“‘信息’这个词在信息论的一般领域已经由各位作者赋予不同的意义。至少,这些意义很可能在某些应用领域充分证明是有用的,需要进一步的研究和做出永久性的承认。几乎不能指望一个单一的关于信息的概念能够令人满意地对一般领域的各种应用负责。”
香农为了避免继续被“追杀”,干脆对他提出的“信息”的概念放任自流了。别的领域爱怎么用就怎么用吧,只要你们能自圆其说。所以直到今天,信息无论是在哪个领域也没有一个定于一尊的定义!实际上,信息是一个不能被定义的“元概念”。颇有点儿像奥古斯丁(A. Augustinus)关于“时间”的说法。在其《忏悔录》卷十一中他说:“什么是时间?……如果没人问我,我知道它是什么。如果我想对他解释什么是时间,我却不知道了。”信息是否也和时间一样呢?
香农和图灵二人都使用编码,图灵是将指令编码变成数,将十进制数编码成0和1,而香农是对基因、染色体、继电器和开关编码。香农的博士论文题目就是《理论遗传学的代数学》。很多人不知道这篇论文写的是什么,都只是从题目上扫那么一眼,认为就是用数学方法研究人类遗传学的。其实这篇文章的直到今天都没有引起注意,一个原因是该文直到1993年才被正式发表。另一个原因恐怕与他当年的《通信的数学理论》一样,工程师认为数学太深,数学家没有工程学背景。同样,现在这篇论文也是,遗传学家看不懂,数学家不去看的论文!舅舅不疼,姥姥不爱。想当年,贝尔实验室的卫星通信专家皮尔斯(J. L. Pierce)对香农的工作所言,香农的工作宛如一枚定时炸弹,而且有点儿像是枚延时炸弹。又有谁能想到香农的这篇博士论文就不是呢?IBM公司的数学家蔡汀(G. Chatin)不久前撰写了一本《证明达尔文:进化和生物创造性的一个数学理论》(Proving Darwin:Making Biology Mathematical)的书。他就是希望用数学的方法证明达尔文的进化论,试图揭示生物学深层的数学结构,开辟了一个称之为“元生物学”的新领域。那谁能保证香农的博士论文就不会是未来遗传学研究的一个崭新方向呢?如果说《通信的数学理论》是颗原子弹的话,那么《理论遗传学的代数学》就有可能是枚氢弹。
香农和韦弗的小册子1949年出版了。但依然没有引起关注。数学家杜步(J. L. Doobe)为其撰写了第一篇书评。杜步在书评中对该书颇表不满,认为“作者运用数学的动机并不总是那么正大光明。”,整个讨论的“暗示”多于数学推导。还有一份来自生物学的期刊评论道:“初看起来,这主要是本工程学专著,对于解决人类实际问题用处不大,或甚至跟本没用。但事实上,该理论具有许多当今令人振奋的意蕴。”《哲学评论》称,哲学家不应忽视这本书(的确不应忽视,否则也就没有今天的信息哲学了!):“香农提出了一个‘信息’的概念,并且令人惊讶的是,信息这个概念竟然是热力学中‘熵’的延伸。”此前,香农曾与冯·诺依曼(J. von Neumann)讨论过他的工作,冯·诺依曼比香农年长13岁,是香农最佩服的人之一。
“熵”是信息论中最基本最重要的一个概念,香农最初想用“信息” (information) 来表达这一概念,但这个词当时已经被用滥了。香农便放弃用信息这个词。冯·诺依曼建议香农用“熵”;并给出二个理由:一是香农原本想用的“不确定性”(uncertainty)这个概念已经用于统计力学,二是没人知道“熵”倒底是什么,用它不会引起争论。不过冯·诺依曼毕竟见多识广,他早就知道“熵”已被用于热力学系统,但却仅是一个可以通过热量改变来测定的物理量,其本质仍没有很好地得到解释。正如所料,“熵”这一概念被延伸到信息论后,其本质才逐渐被解释清楚,信息论对熵的本质的解释就是“系统内在的混乱程度”。汉语中本无“熵”字,1923年德国物理学家普朗克(M. Planck)来华讲学时用到entropy这个词,由于entropy在表达形式上是两个量相除的商,我国著名物理学家胡刚复教授在现场口译时,把这个词翻译成“商”字加“火”旁创造了汉语的一个新术语“熵”。
最终,香农采纳了冯·诺依曼的建议,在信息论中提出了“信息熵”或“香农熵”的概念,解决了信息的量化度量问题。一条信息的信息量大小和它的不确定性有直接关系。例如,我们要弄清楚一件很不确定的事情,或者我们一无所知的事情,就需要大量的信息。相反,如果我们对某件事已经有了较多的了解,就无需太多的信息就够了。所以,从信息论的角度看,信息量的度量等于不确定性的多少。信息熵的数学表达式很简洁:


1950 年,香农在《科学美国人》上发表了一篇文章,同时还发表了一篇研究论文,描述了如何对计算机进行编程下棋。他详细介绍了如何为实际计算机设计程序。讨论了如何在内存中表示数据结构,估计程序需要多少位内存,并将程序分解成他称之为子程序的东西。今天我们称这些为函数或过程。他的一些子程序是生成可能的动作;一些是对结果好坏进行评估。
香农做这一切的时候,世界上只有不到 10 台计算机。它们都被用于数值计算。他开始了他的研究论文,推测计算机可以通过编程来做超出数值计算的各种事情,包括设计继电器和开关电路、设计用于通信的电子滤波器、在人类语言之间进行翻译以及进行逻辑推理。今天,计算机可以完成所有这些事情。他给出了他选择下棋作为程序的四个原因,其中一个重要的原因是人们认为下棋需要“思考”。因此,他推断,这将是检验计算机是否可以思考的一个很好的测试案例。
香农建议,可以通过分析它已经玩过的游戏并调整它所遇到的棋盘位置优势的启发式评估中的项和系数来改进他的程序。香农当时没有现成的电脑,所以他无法测试他的想法。但仅仅五年后,即 1955 年,IBM 工程师 Arthur Samuel 在交付给客户计算机之前,运行了一个跳棋程序,该程序使用香农的精确方法来改进它的游戏。1959 年,Samuel发表了一篇关于它的论文,标题为“机器学习”——这是该词第一次出现在印刷品上。

香农是位兴趣广泛的人,除了自己的研究工作外,他还喜欢各种活动。尤其令人称奇的是,他是位杂耍爱好者。他酷爱杂耍,曾制造过好几台杂耍机。经常有人见到他一边骑着独轮车,一边用四个球玩着杂耍,穿行在贝尔实验室的大厅里。毕竟是搞数学出身,他竟然提出一套杂耍统一场论:用B代表球的数量,H代表手的数量,D表示球在手中度过的时间,F代表每个球的飞行时间,E代表每只手不拿球的时间,那么B/H=(D+F)/(D+E).可是他的这个理论却帮不了香农同时抛出四个以上的球。可是他却强词夺理,认为那是他的手比较小的原因。他有一间摆放玩具的房间,在最显眼的位置挂着装裱好的名为“杂耍学博士”的证书,可能还真有这样的博士学位呢。看起来他对获得这个博士学位感到非常自豪。

从不抛头露面的香农于1985年出现在英国布莱顿举办的IEEE信息论会议上。会议开了一半,与会者才发现香农来了,很多人都以为香农早已不在人世。当大会主席说服香农给参会者致辞时,会场瞬间沸腾起来。香农讲了几分钟,可能是怕听众听得不耐烦,竟然从口袋里拿出三个小球玩起杂耍。听众彻底疯狂了,排长队索要签名。有人回忆当时的情景时说,“就好像牛顿出现在物理会议。”





回复

使用道具 举报

78

主题

109

帖子

446

积分

中级会员

Rank: 3Rank: 3

积分
446
 楼主| 发表于 2022-1-30 10:19:13 | 显示全部楼层

香农将他曾经获得的所有证书统统扔到了房间的阴暗角落。家里最显眼的地方,只放着一张证书—— 杂耍学博士 。他将自己的家,改造成了一个“儿童乐园”。
有三个小丑同玩十一个环的杂耍机器、钟表驱动的七个球和五个棍子。用三个指头就能抓起棋子的手臂、有一百个刀片的折叠刀、装了发动机的弹簧高跷杖。智力阅读机和读心机、带多个座位的能让孩子们到湖边玩耍的升降机。而这些玩具,清一色都是他亲手制作的。
若不是上帝急着让他到天堂做好玩的东西来解闷,恐怕下一个里程碑的成果将会在杂耍界出现。
据说,仙逝之前,香农已经开始撰写《统一的杂耍场理论》。甚至他创作的诗歌代表作,也叫《魔方的礼仪》,其大意是像20世纪70年代后期非常流行的“鲁比克魔方”致敬。

香农制作的魔方机器人
他制造的“能在六角棋游戏中,打败任何人”的机器,让哈佛大学的数学系教授也束手无策。他发明的“猜心机器”(回答n个问题后猜出你在想什么),打败了贝尔实验室的所有人,让大名鼎鼎的科学家们都“无颜见江东父老”。
2001年,香农传奇的人生落下了帷幕,84岁的他最后因为阿尔兹海默症去世。或许,是因为他本就是上帝派来藐视众生的,上帝不想让他透露太多未来的信息给我们,以免数据溢出。

香农获得的荣誉:
美国Alfred Noble协会美国工程师奖 1940年
Morris Liebmann 无线电工程师协会Memorial奖章 1949年
耶鲁大学 (首席科学家) 1954年
Stuart Ballantine弗兰克林协会奖章 1955年
研究合作奖 1956年
密歇根大学,荣誉博士 1961年
莱斯大学 荣誉奖章 1962年
普林斯顿大学 荣誉博士 1962年
Marvin J. Kelly Award 1962年
爱丁堡大学 荣誉博士 1964年
匹兹堡大学 荣誉博士 1964年
电子电气工程师协会 荣誉奖章 1966年
美国国家科学奖章 1966年 由前总统Lyndon B. 约翰逊颁发
Golden Plate Award 1967年
美国西北大学 荣誉博士 1970年
Harvey Prize,the Technion of Haifa 以色列 1972年
牛津大学 荣誉博士 1978年
Joseph Jacquard奖 1978年
Harold Pender奖 1978年
东英格伦大学 荣誉博士 1982年
卡内基梅隆大学 荣誉博士 1984年
美国声频技术协会 金奖 1985年
Kyoto Prize 1985年
塔夫斯大学 荣誉博士 1987年
宾西法尼亚大学 荣誉博士 1991年
Eduard Rhein Prize 1991年


回复

使用道具 举报

78

主题

109

帖子

446

积分

中级会员

Rank: 3Rank: 3

积分
446
 楼主| 发表于 2022-1-30 10:20:18 | 显示全部楼层
在 20 世纪的伟大工程师群体中,谁对我们 21 世纪的技术贡献最大?我认为是克劳德·香农(Claude Shannon)。
  香农以建立信息论领域而闻名。在 1948 年的一篇论文中,这是工程史上最伟大的论文之一,香农定理给出了信道信息传送速率的上限(比特每秒)和信道信噪比及带宽的关系,香农定理可以解释现代各种无线制式由于带宽不同,所支持的单载波最大吞吐量的不同。这篇题为“通信的数学理论”的文章描述了所有现代通信的基础,包括智能手机上的无线互联网,甚至是双绞线电话线路上的模拟语音信号。1966 年,IEEE 授予他最高奖项,荣誉勋章,以表彰他的这项工作。
  如果信息论是香农的唯一成就,那足以确保他在万神殿中的地位。但他做得更多。
  而就在发表信息论的十年前,他在MIT的硕士毕业论文《继电器与开关电路的符号分析》,被认为是逻辑门的鼻祖。当时,电磁继电器——利用磁力打开和关闭电气开关的小型设备——被用来构建电话路由或控制复杂机器的电路。然而,关于如何设计或分析此类电路并没有一致的理论。人们对它们的看法仅仅是继电器线圈是否通电。香农表明布尔代数可以用来从继电器本身转移到对电路功能的更抽象的理解。他使用这种逻辑代数来分析,然后综合开关电路,并证明整个电路按预期工作。在他的论文中,他发明了 AND、OR 和 NOT 逻辑门。逻辑门是所有数字电路的基石,计算机科学的整个大厦都以此为基础。
  1950 年,香农在《科学美国人》上发表了一篇文章,同时还发表了一篇研究论文,描述了如何对计算机进行编程下棋。他详细介绍了如何为实际计算机设计程序。讨论了如何在内存中表示数据结构,估计程序需要多少位内存,并将程序分解成他称之为子程序的东西。今天我们称这些为函数或过程。他的一些子程序是生成可能的动作;一些是对结果好坏进行评估。
  香农做这一切的时候,世界上只有不到 10 台计算机。它们都被用于数值计算。他开始了他的研究论文,推测计算机可以通过编程来做超出数值计算的各种事情,包括设计继电器和开关电路、设计用于通信的电子滤波器、在人类语言之间进行翻译以及进行逻辑推理。今天,计算机可以完成所有这些事情。他给出了他选择下棋作为程序的四个原因,其中一个重要的原因是人们认为下棋需要“思考”。因此,他推断,这将是检验计算机是否可以思考的一个很好的测试案例。
  香农建议,可以通过分析它已经玩过的游戏并调整它所遇到的棋盘位置优势的启发式评估中的项和系数来改进他的程序。香农当时没有现成的电脑,所以他无法测试他的想法。但仅仅五年后,即 1955 年,IBM 工程师 Arthur Samuel 在交付给客户计算机之前,运行了一个跳棋程序,该程序使用香农的精确方法来改进它的游戏。 1959 年,Samuel发表了一篇关于它的论文,标题为“机器学习”——这是该词第一次出现在印刷品上。
  所以,让我们回顾一下:信息论、逻辑门、计算机编程、数据结构,以及可以说是机器学习。克劳德·香农没有费心去预测未来——他只是发明了这些基础。自从他2001年去世以来,我们还没有见过像他这样的天才,可能我们再也不会了。
  这篇文章出现在 2022 年 2 月的IEEE杂志上,名为“克劳德·香农的精选集”。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋| 电子元件器世界

GMT+8, 2022-9-30 02:24 , Processed in 0.110379 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表