今天的信息時(shí)代只有借助一個(gè)天才的開(kāi)創(chuàng)性工作才有可能。

香農(nóng)Shannon

弗朗西斯·貝洛莊園

——科學(xué)資源

作者：謝大衛(wèi) 2020-12-22 量子雜志專(zhuān)欄作家，大衛(wèi)·謝（David Tse）是斯坦福大學(xué)工程學(xué)院的Thomas Kailath和徐光漢席位教授。

譯者：zzllrr小樂(lè) 2020-12-23 于頭條號(hào)、企鵝號(hào)、百家號(hào)、微信公眾號(hào)、B站專(zhuān)欄、知乎專(zhuān)欄同步發(fā)布

科學(xué)，尋求大自然的基本定律。數(shù)學(xué)，在舊的定理基礎(chǔ)上尋找新的定理。工程，構(gòu)建解決人類(lèi)需求的系統(tǒng)。這三個(gè)學(xué)科是相互依存但又截然不同的。一個(gè)人很少同時(shí)為這三者做出核心貢獻(xiàn)，但克勞德·香農(nóng)（Claude Shannon）就是一個(gè)罕見(jiàn)奇才。

盡管香農(nóng)是最近的紀(jì)錄片《比特玩家The Bit Player》的主題，而他的工作和研究哲學(xué)啟發(fā)了我自己的職業(yè)，但香農(nóng)并不是一個(gè)家喻戶(hù)曉的人物。他從未獲得過(guò)諾貝爾獎(jiǎng)，而且在2001年去世之前或之后，他都不是像阿爾伯特·愛(ài)因斯坦（Albert Einstein）或理查德·費(fèi)曼（Richard Feynman）這樣的名人。但是70多年前，他在一份開(kāi)創(chuàng)性的論文中奠定了整個(gè)通信基礎(chǔ)，構(gòu)建出現(xiàn)代信息時(shí)代的基礎(chǔ)。

香農(nóng)（Shannon）于1916年出生于密歇根州的蓋洛德（Gaylord），是一位當(dāng)?shù)厣倘撕鸵幻處煹膬鹤?。從密歇根大學(xué)獲得電氣工程和數(shù)學(xué)學(xué)位后，他在麻省理工學(xué)院（Massachusetts Institute of Technology）撰寫(xiě)了一篇碩士論文，將一門(mén)名為布爾代數(shù)的數(shù)學(xué)學(xué)科應(yīng)用于開(kāi)關(guān)電路的分析和合成。這是一項(xiàng)變革性的工作，將電路設(shè)計(jì)從一門(mén)藝術(shù)變成了一門(mén)科學(xué)，現(xiàn)在已被認(rèn)為是數(shù)字電路設(shè)計(jì)的起點(diǎn)。

克勞德·香農(nóng)（Claude Shannon）撰寫(xiě)了一篇碩士論文，該論文迅速啟動(dòng)了數(shù)字電路設(shè)計(jì)，十年后，他撰寫(xiě)了有關(guān)信息論的開(kāi)創(chuàng)性論文《通信的數(shù)學(xué)理論》。

——麻省理工學(xué)院博物館

接下來(lái)，香農(nóng)將目光投向了一個(gè)更大的目標(biāo)：通信。

通信是人類(lèi)最基本的需求之一。從煙霧信號(hào)到信鴿，再到電話(huà)再到電視，人類(lèi)一直在尋找能夠使他們進(jìn)行更遠(yuǎn)、更快、更可靠的通信的方法。但是，通信系統(tǒng)的工程總是與特定的來(lái)源和物理介質(zhì)相關(guān)聯(lián)。香農(nóng)轉(zhuǎn)而問(wèn)：“是否有一個(gè)大而統(tǒng)一的通信理論？” 在1939年給他的導(dǎo)師范尼瓦爾·布什（Vannevar Bush）的信中，香農(nóng)概述了他的一些初步想法，即“用于情報(bào)傳遞的通用系統(tǒng)的基本特性”。經(jīng)過(guò)十年的研究，香農(nóng)終于在1948年發(fā)表了他的杰作：“通信的數(shù)學(xué)理論”。

他的理論的核心是一個(gè)簡(jiǎn)單但非常通用的通信模型：發(fā)送器將信息編碼為信號(hào)，該信號(hào)會(huì)被噪聲破壞，然后由接收器解碼。盡管其簡(jiǎn)單性，香農(nóng)的模型還是結(jié)合了兩個(gè)關(guān)鍵的見(jiàn)解：將信息和噪聲源與要設(shè)計(jì)的通信系統(tǒng)隔離開(kāi)來(lái)，并對(duì)這兩個(gè)源進(jìn)行概率建模。他設(shè)想信息源會(huì)生成許多可能的消息之一來(lái)進(jìn)行通信，每條消息都有一定的概率。概率噪聲進(jìn)一步增加了接收器解開(kāi)的隨機(jī)性。

在香農(nóng)之前，通信問(wèn)題主要被視為確定性信號(hào)重建問(wèn)題：如何轉(zhuǎn)換受物理介質(zhì)扭曲的接收信號(hào)，以盡可能準(zhǔn)確地重建原始信號(hào)。香農(nóng)的天才在于他的觀(guān)察，即通信的關(guān)鍵是不確定性。畢竟，如果你提前知道了我在本專(zhuān)欄中對(duì)你說(shuō)的話(huà)，那么編寫(xiě)它的目的是什么？

香農(nóng)的通信模型示意圖，摘自他的論文

——貝爾系統(tǒng)技術(shù)雜志

單一的觀(guān)察將通信問(wèn)題從物理問(wèn)題轉(zhuǎn)移到了抽象問(wèn)題，從而使香農(nóng)可以使用概率對(duì)不確定性進(jìn)行建模。這給當(dāng)時(shí)的通信工程師帶來(lái)了極大的震驚。

考慮到不確定性和可能性的框架，香農(nóng)在其具有里程碑意義的論文中著手系統(tǒng)地確定通信的基本限制。他的回答分為三個(gè)部分。信息“位”的概念在這三個(gè)方面都扮演著重要角色，香農(nóng)將其用作不確定性的基本單位?！岸M(jìn)制數(shù)字”的雙格旅行箱，可以是1或0，香農(nóng)的論文是第一個(gè)使用該詞的人（盡管他說(shuō)數(shù)學(xué)家John Tukey在一個(gè)備忘錄中首先使用了它）。

首先，香農(nóng)提出了每秒比特?cái)?shù)來(lái)表示信息的最小數(shù)量的公式，即他所謂的熵率，H。該數(shù)字量化了消息源將生成哪條消息所涉及的不確定性。熵率越低，不確定性越小，因此將消息壓縮成較短的內(nèi)容越容易。例如，以每分鐘100個(gè)英文字母的速率發(fā)送短信意味著每分鐘發(fā)送261??條可能的消息，每條消息均由100個(gè)字母的序列表示。人們可以將所有這些可能性編碼成470比特位，因?yàn)????  ≈261??。如果序列具有相同的可能性，那么香農(nóng)公式將表明熵速率實(shí)為每分鐘470位。實(shí)際上，某些序列比其他序列更有可能，并且熵率要低得多，可以進(jìn)行更大的壓縮。

其次，他提供了一個(gè)公式，計(jì)算他所謂的系統(tǒng)的容量，C，在噪音中系統(tǒng)能夠可靠地傳達(dá)的每秒最大數(shù)量比特?cái)?shù)。這是接收者可以消除消息不確定性的最大速率，有效地成為通信限速。

最后，他表明，只有當(dāng)H < C時(shí)，面對(duì)噪聲來(lái)自信源的信息才能進(jìn)行可靠的通信。因此，信息就像水一樣：如果流量小于管道的容量，則水流能可靠地通過(guò)。

雖然這是一種傳播理論，但同時(shí)也是一種有關(guān)信息如何產(chǎn)生和傳遞的理論-信息論。因此，香農(nóng)現(xiàn)在被認(rèn)為是“信息論之父”。

他的定理得出了一些與直覺(jué)相反的結(jié)論。假設(shè)你在嘈雜的地方講話(huà)，確保你的消息通過(guò)的最佳方法是什么？也許是重復(fù)多次？當(dāng)然，這是任何人在大聲餐廳中的第一個(gè)本能想法，但事實(shí)證明這不是很有效。當(dāng)然，你重復(fù)自己的次數(shù)越多，溝通越可靠。但是你犧牲了速度來(lái)提高可靠性。香農(nóng)向我們展示了我們可以做得更好。重復(fù)消息是使用代碼傳輸消息的示例，通過(guò)使用不同且更復(fù)雜的代碼，可以在保持給定可靠性的同時(shí)，快速通信-一直達(dá)到限速C。

香農(nóng)也有愛(ài)玩的一面，他經(jīng)常帶到他的工作中。在這里，他與他為電子鼠標(biāo)建造的迷宮合影，名為特修斯Theseus。

——麻省理工學(xué)院博物館

香農(nóng)理論的另一個(gè)出乎意料的結(jié)論是，無(wú)論信息的性質(zhì)是什么，無(wú)論是莎士比亞十四行詩(shī)，貝多芬第五交響曲的錄音還是黑澤明的電影，在傳輸之前，將其編碼為比特位總是最有效的。因此，例如在無(wú)線(xiàn)電系統(tǒng)中，即使初始聲音和通過(guò)空中發(fā)送的電磁信號(hào)都是模擬波形，香農(nóng)定理也暗示著最好先將聲波數(shù)字化為比特位，然后將這些比特位映射為電磁波。這一令人驚訝的結(jié)果是現(xiàn)代數(shù)字信息時(shí)代的基石，在這個(gè)時(shí)代，比特位已成為信息的通用貨幣。

香農(nóng)的一般通信理論是如此自然，以至于他似乎發(fā)現(xiàn)了宇宙的通信定律，而不是發(fā)明了它們。他的理論與自然的物理定律一樣基礎(chǔ)。從這個(gè)意義上說(shuō)，他是一名科學(xué)家。

香農(nóng)發(fā)明了新的數(shù)學(xué)來(lái)描述通信定律。他介紹了一些新思想，例如概率模型的熵率，這些新思想已應(yīng)用于遍歷數(shù)學(xué)等廣泛的數(shù)學(xué)分支，動(dòng)力學(xué)系統(tǒng)的長(zhǎng)期行為研究中。從這個(gè)意義上說(shuō)，香農(nóng)是一個(gè)數(shù)學(xué)家。

但最重要的是，香農(nóng)是一名工程師。他的理論受到實(shí)際工程問(wèn)題的啟發(fā)。盡管對(duì)當(dāng)時(shí)的工程師來(lái)說(shuō)是深?yuàn)W的，但香農(nóng)的理論現(xiàn)已成為所有現(xiàn)代通信系統(tǒng)（光學(xué)，水下，甚至行星際）的基礎(chǔ)標(biāo)準(zhǔn)框架。就個(gè)人而言，我很幸運(yùn)地參與了將香農(nóng)的理論應(yīng)用和擴(kuò)展到無(wú)線(xiàn)通信的全球性努力，在多代標(biāo)準(zhǔn)中將通信速度提高了兩個(gè)數(shù)量級(jí)。確實(shí)，當(dāng)前推出的5G標(biāo)準(zhǔn)使用的不是一種而是兩種實(shí)用的代碼，它們被證明可以達(dá)到香農(nóng)的速度極限。

盡管香農(nóng)（Shannon）于2001年去世，但他的遺產(chǎn)仍然存在于構(gòu)成我們現(xiàn)代世界的技術(shù)和他創(chuàng)造的設(shè)備（如這種遙控巴士）中。

——麻省理工學(xué)院博物館

香農(nóng)在70多年前就為所有這一切奠定了基礎(chǔ)。他是怎么做到的？通過(guò)不懈地專(zhuān)注于問(wèn)題的基本特征，而忽略了所有其他方面。他的通信模型的簡(jiǎn)單性就是這種風(fēng)格的很好例證。他還知道要專(zhuān)注于可能的事情，而不是立即可行的事情。

香農(nóng)的工作說(shuō)明了頂級(jí)科學(xué)的真正作用。當(dāng)我開(kāi)始讀研究生時(shí)，我的導(dǎo)師告訴我，最好的工作是修剪知識(shí)樹(shù)，而不是壯大知識(shí)樹(shù)。那時(shí)候我不知道該怎么做。我一直認(rèn)為我作為研究人員的工作是添加自己的樹(shù)枝。但是在我的職業(yè)生涯中，由于有機(jī)會(huì)在自己的工作中運(yùn)用這種哲學(xué)，我開(kāi)始理解。

當(dāng)香農(nóng)開(kāi)始研究通信時(shí)，工程師已經(jīng)掌握了大量技術(shù)。正是他的統(tǒng)一工作將所有這些知識(shí)枝條修剪成了一棵連貫而可愛(ài)的樹(shù)，這棵樹(shù)為幾代科學(xué)家，數(shù)學(xué)家和工程師帶來(lái)了成果。