本書(shū)作者是美國(guó)《紐約時(shí)報(bào)》的記者兼編輯詹姆斯·格雷克，也是著名的科普作家，科普讀物擁有百萬(wàn)數(shù)量級(jí)的銷(xiāo)量。《信息簡(jiǎn)史》的英文書(shū)名直接翻譯是，信息：它的歷史，它的理論和它掀起的洪波。

一、信息的歷史

1.1會(huì)說(shuō)話的非洲鼓

早期，非洲部落用鼓來(lái)傳遞一些簡(jiǎn)單的信息；在作戰(zhàn)的時(shí)候傳達(dá)進(jìn)攻或撤退的命令等。雖然只有一部分人知道怎樣用鼓聲來(lái)溝通，但幾乎所有的人都能夠理解鼓聲的含義；雖然鼓手的節(jié)奏、快慢會(huì)有不同，但是不妨礙他們表達(dá)同一個(gè)意思。

1.2文字

文字是一種外在的符號(hào)，它將知識(shí)從人那里抽離出來(lái)，要將他們的記憶存儲(chǔ)在別處。信息傳播工具是獨(dú)立于“心智”的，本身不帶情感、立場(chǎng)和認(rèn)識(shí)。

為了避免文字的復(fù)制產(chǎn)生差錯(cuò)，邏輯與詞典應(yīng)運(yùn)而生。邏輯使得傳播思想的文字表述具有嚴(yán)謹(jǐn)性，為文字傳播信息的正確性提供保障。鄉(xiāng)村教師羅伯特· 考德里在1604年編的英語(yǔ)詞典《字母排表》是按照字母順序排列的。這種排列法后來(lái)被稱(chēng)為“詞典排列法”，它給不知道詞義的讀者提供了查詢(xún)的方便。

1.3  機(jī)器計(jì)算 

18世紀(jì)，對(duì)數(shù)表在歐洲盛行，因?yàn)閷?duì)數(shù)可以極大地降低計(jì)算的復(fù)雜度。英國(guó)數(shù)學(xué)家巴貝奇設(shè)想造一臺(tái)機(jī)器來(lái)制作對(duì)數(shù)表，并將這臺(tái)機(jī)器稱(chēng)為差分機(jī)。在英國(guó)財(cái)政部的支持下，巴貝奇歷經(jīng)10年才造出了可以演示的樣機(jī)，然而真正的差分機(jī)一直沒(méi)有造出來(lái)。

后來(lái)，巴貝奇又構(gòu)思一種新的計(jì)算機(jī)，并稱(chēng)之為“分析機(jī)”，顧名思義，這種機(jī)器會(huì)思考。巴貝奇關(guān)于計(jì)算機(jī)的構(gòu)思，特別是分析機(jī)成為以后計(jì)算機(jī)的雛形，為此我們稱(chēng)它為零代計(jì)算機(jī)。零代計(jì)算讓信息的存儲(chǔ)和產(chǎn)生與計(jì)算機(jī)器掛上了鉤。

1.4電報(bào)

18世紀(jì)人們認(rèn)識(shí)了電，也知曉電可以遠(yuǎn)距離傳送，從那時(shí)開(kāi)始人們就想用電來(lái)傳輸信息?？茖W(xué)家知道電從正極流向負(fù)極，并造出了安培計(jì)來(lái)檢測(cè)電流方向。大數(shù)學(xué)家高斯是第一批利用安培計(jì)讓電來(lái)轉(zhuǎn)遞信息的實(shí)驗(yàn)者。

后來(lái)的電報(bào)采用的摩爾斯電碼，它是由美國(guó)人摩爾斯和韋爾發(fā)明的。根據(jù)電鍵接通的時(shí)間分別畫(huà)出點(diǎn)和線，相當(dāng)于現(xiàn)在的0和1，韋爾發(fā)明了發(fā)報(bào)用的電鍵和接收端的自動(dòng)記錄設(shè)備，這樣可以自動(dòng)記錄電報(bào)內(nèi)容。摩爾斯將26個(gè)英文字母和0-9的10個(gè)數(shù)字根據(jù)在傳輸中出現(xiàn)的頻率編制了摩爾斯電碼，一個(gè)普通的操作員一分鐘至少可以發(fā)送30個(gè)字母或數(shù)字。

電報(bào)促使了密碼的誕生。例如，A給B發(fā)了一份電報(bào)，這兩個(gè)人早就約定了一個(gè)數(shù)字3，二進(jìn)制為11，單詞ask正確的摩爾斯代碼是 000100 010110 001011，但是發(fā)報(bào)人對(duì)這個(gè)二進(jìn)制數(shù)加11，發(fā)送的成了000111 011001 001110，接受方按照正常摩爾斯代碼查到的是dvn。只有接受者事先知道3這個(gè)數(shù)，在摩爾斯代碼表上朝后倒數(shù)3個(gè)字母就得到了正確的報(bào)文。這個(gè)過(guò)程就稱(chēng)為加密，3這個(gè)數(shù)字稱(chēng)為密鑰。出現(xiàn)加密是信息傳遞的一個(gè)重要的里程碑，它說(shuō)明信息在傳播過(guò)程的調(diào)制和恢復(fù)是可以定制的。

二、信息理論

2.1 美國(guó)人克勞德·埃爾伍德·香農(nóng)

1937年，香農(nóng)到貝爾實(shí)驗(yàn)室實(shí)習(xí)，對(duì)繼電器做了深入的研究。他嘗試將繼電器的兩種狀態(tài)，斷開(kāi)和導(dǎo)通與數(shù)字1和0相對(duì)應(yīng)，然后嘗試應(yīng)用布爾代數(shù)對(duì)多個(gè)繼電器連接結(jié)果進(jìn)行分析。香農(nóng)在一封信上描述了他對(duì)信息傳輸過(guò)程的研究，他說(shuō)幾乎所有的通信系統(tǒng)都存在兩個(gè)函數(shù)和兩次變換，發(fā)送方要發(fā)送一個(gè)信息給接收方，記為函數(shù)小f，但是在發(fā)送的過(guò)程中這個(gè)小f 函數(shù)被轉(zhuǎn)換成另一個(gè)大F函數(shù)，因此接受者收到的是大F，他通過(guò)一定的設(shè)備，相當(dāng)于密鑰，將這個(gè)大F轉(zhuǎn)換成小f ，從而完成“精確的復(fù)制”。香農(nóng)指出，“精確的復(fù)制”很難實(shí)現(xiàn)，總會(huì)有“失真”，怎樣估計(jì)和排除“噪音”是通信的重要任務(wù)。

香農(nóng)將熵引進(jìn)到信息論。首先，信息論里的信息“雖然與日常意義的信息有關(guān)，但是又不同，不應(yīng)該將他們混淆。”香農(nóng)說(shuō)：“信息與不確定性相關(guān)?！彼遣淮_定性帶來(lái)的。香農(nóng)想到用“熵”來(lái)描述信息。

克勞德·埃爾伍德·香農(nóng)

如果一個(gè)事件H有n種可能的結(jié)果，出現(xiàn)這些結(jié)果的概率是已知的，分別是P1、P2、P3等。我們可以用公式計(jì)算出這個(gè)事件的熵。如果這個(gè)事件只有一個(gè)結(jié)果，那么n=1，P1=1，熵H等于0；如果事件有兩個(gè)結(jié)果，它們出現(xiàn)的概率是一樣的，也就是n=2，P1=P2=0.5，計(jì)算出來(lái)熵等于1；進(jìn)一步，事件還是只有兩個(gè)結(jié)果，但它們出現(xiàn)的概率不一樣的，一個(gè)是1/4，另一個(gè)是3/4 ，這時(shí)可以算出熵大約等于0.811。

香農(nóng)將算出的結(jié)果用比特做單位，那么當(dāng)n=1時(shí)，這是確定事件，熵為0比特；當(dāng)存在兩種結(jié)果，而出現(xiàn)兩種結(jié)果的可能性是一樣的時(shí)候，熵是1比特；當(dāng)存在兩種結(jié)果，而出現(xiàn)兩種結(jié)果的可能性是不一樣的時(shí)候，這時(shí)熵就小于1比特了。熵越大的事件不確定性也越大，而信息是用來(lái)減少不確定性的，就是用來(lái)減少一個(gè)事件的熵。

2.2 計(jì)算機(jī)之父——阿蘭· 圖靈

圖靈構(gòu)造了邏輯上的圖靈機(jī)，盡管他沒(méi)有造出計(jì)算機(jī)，但是今天他的機(jī)器無(wú)所不在。

圖靈構(gòu)思這樣的機(jī)器至少有“紙帶” “符號(hào)” 和 “狀態(tài)” 幾個(gè)組件，他詳細(xì)定義了這些組件的構(gòu)造與運(yùn)作模式。他論證了這臺(tái)機(jī)器能夠算出多項(xiàng)式方程的解，能夠算出圓周率和自然對(duì)數(shù)的底數(shù)，他還論證了確實(shí)存在不可計(jì)算的數(shù)，而且“極大多數(shù)”的數(shù)是不可計(jì)算的。目前的計(jì)算機(jī)設(shè)計(jì)還沒(méi)有跳出圖靈機(jī)的框架。

2.3 美國(guó)人諾伯特· 維納

二戰(zhàn)期間，維納是第一批被美國(guó)招募參加火炮控制的專(zhuān)家，他的主要工作是噪聲處理，這項(xiàng)成果后來(lái)被稱(chēng)為“維納濾波”，維納與同事比奇洛將對(duì)火炮追蹤敵機(jī)的行為稱(chēng)為“伺服控制”。

維納最著名的書(shū)是一本很薄的小冊(cè)子《控制論——或關(guān)于在動(dòng)物和機(jī)器中控制和通信的科學(xué)》。這本書(shū)最核心的是負(fù)反饋原理，維納認(rèn)為負(fù)反饋是動(dòng)物與機(jī)器在控制行為中的基本規(guī)律。他指出閉環(huán)控制系統(tǒng)不是根據(jù)目標(biāo)完成控制的，而是根據(jù)現(xiàn)狀與目標(biāo)之間的偏差完成控制的。維納強(qiáng)調(diào)了這個(gè)偏差便是一種信息，信息用來(lái)降低盲目性。

三、信息掀起的洪波

3.1 遺傳密碼的破解

1910年，丹麥植物學(xué)家約翰遜首先采用“基因”這個(gè)詞來(lái)表示遺傳的載體，他解釋說(shuō)，基因未必是一種獨(dú)立存在的物質(zhì)。這意味著基因可以是一種信息。

孟德?tīng)柺堑谝粋€(gè)證明基因存在的生物學(xué)家。他用黃色和綠色兩種豌豆做試驗(yàn)，這兩種豌豆可以雜交，但是雜交后代要么是黃色要么是綠色的，沒(méi)有出現(xiàn)黃綠色的豌豆。他用的詞叫“遺傳因子”，他說(shuō)，遺傳因子不會(huì)混合也不會(huì)擴(kuò)散，它在遺傳過(guò)程中是不變的。

1953年，生物學(xué)家詹姆斯· 沃森和弗朗西斯· 克里克在《自然》雜志上發(fā)文，聲稱(chēng)他們找了基因。他們發(fā)現(xiàn)DNA具有雙螺旋結(jié)構(gòu)，兩條鏈相互纏繞但不相交，之間由堿基連接，堿基的精確序列承載著遺傳信息的編碼。

3.2 對(duì)文化發(fā)展的沖擊

1970年，英國(guó)生物學(xué)家道金斯在《自私的基因》這本書(shū)里提出了“模因”的概念。“模因”學(xué)說(shuō)也稱(chēng)文化進(jìn)化論，它認(rèn)為文化發(fā)展也是傳承的，就像生物的遺傳一樣，代替基因的是模因，它寄生于人類(lèi)的大腦中得以傳承。如果說(shuō)基因是生物信息的載體，遺傳是生物信息的傳遞，那么模因就是文化信息的載體，社會(huì)形態(tài)發(fā)展根源是文化信息的傳遞。

3.3 對(duì)隨機(jī)理論的沖擊

隨機(jī)理論的奠基者是蘇聯(lián)的數(shù)學(xué)家柯?tīng)柲缏宸?，柯?tīng)柲缏宸蜇S富了香農(nóng)的研究，學(xué)術(shù)界將他的貢獻(xiàn)稱(chēng)為“算法信息論”。

計(jì)算出一個(gè)數(shù)要依靠程序，有的程序簡(jiǎn)單，有的復(fù)雜，因此柯?tīng)柲缏宸蛟谒惴ㄐ畔⒄摾锒x了“復(fù)雜度”，它與程序的復(fù)雜程度成正比，與這個(gè)數(shù)帶有的信息量成正比。有的數(shù)可以用較短的算法計(jì)算出來(lái)，而有的數(shù)不行，不能用簡(jiǎn)短算法計(jì)算的數(shù)稱(chēng)為“隨機(jī)數(shù)”。隨機(jī)數(shù)有更大的不確定性，也就是說(shuō)，它的“熵”更大。

3.4 洪波之后的世界

第一個(gè)現(xiàn)象是信息泛濫。人們?cè)炝藷o(wú)數(shù)多的信息倉(cāng)庫(kù)，而且信息的持久性和遺忘的困難性給信息倉(cāng)庫(kù)的管理帶來(lái)了莫大的混亂。大爆炸使得信息熵增大，權(quán)威性喪失和混亂的增劇。

第二個(gè)現(xiàn)象是存儲(chǔ)技術(shù)的飛速發(fā)展。香農(nóng)曾經(jīng)估算過(guò)美國(guó)國(guó)會(huì)圖書(shū)館藏有的資料信息量約為十太字節(jié)?，F(xiàn)在這個(gè)圖書(shū)館還收集數(shù)字資料，到2010年2月，資料的信息量已經(jīng)達(dá)到160太字節(jié)，是香農(nóng)時(shí)代的16倍。現(xiàn)在更發(fā)明了云端技術(shù)，其容量甚至無(wú)法估量。

我基本忽略了前面精彩的非洲鼓的故事，原因在于，作為一個(gè)語(yǔ)言學(xué)出身的人，這部分知識(shí)（語(yǔ)素、信息、語(yǔ)法結(jié)構(gòu)的關(guān)系）早已熟悉，讀起來(lái)沒(méi)什么收獲，也就沒(méi)啥可寫(xiě)的。 

雖然我標(biāo)題寫(xiě)的是「信息論的入門(mén)」，但實(shí)際上，讀完這本書(shū)離入門(mén)還有十萬(wàn)八千里。這本書(shū)能讓你明白，為什么信息論的所有教材都是鋪天蓋地的數(shù)學(xué)，明白為什么有的人說(shuō)信息論是一門(mén)純應(yīng)用數(shù)學(xué)的學(xué)科。 

最后想說(shuō)的是，作者每一章后面都有幾十個(gè)腳注，足見(jiàn)其用心與演進(jìn)。這本書(shū)不是國(guó)內(nèi)哪些張口就來(lái)的認(rèn)知升級(jí)，而是一個(gè)誠(chéng)懇的作家7年的嘔心之作，值得一讀。