一、信息量
1、信息
信息是被傳遞或交流的一組語言,文字或圖象所蘊(yùn)涵的內(nèi)容;
(1)信息同能量一樣,是人類賴以生存的基本要素;
(2)信息不能獨(dú)立存在,必須以相互聯(lián)系為先提,必須和接收者以及他所要達(dá)到的目的相聯(lián)系;
(3)信息來源于物質(zhì),但又不是物質(zhì)本身,信息,物質(zhì),能量既不可分割又有質(zhì)的區(qū)別;物質(zhì)具有結(jié)構(gòu),結(jié)構(gòu)又表征或包含信息,所以信息是物質(zhì)的普遍屬性,同質(zhì)量,能量動量一樣。
(4)信息可以復(fù)制,散布,信息在傳輸中會發(fā)生損失,理想情況屬保真。
信息論研究的不是信息的具體內(nèi)容,是研究信息的數(shù)量以及信息的轉(zhuǎn)換,貯存,傳輸所遵循的規(guī)律。
2、信息量
一切信息都是反映觀察事物所獲得的知識,而知識總是和被觀察事件發(fā)生的不肯定度相聯(lián)系,如果被觀察事件是確定的,預(yù)先知道的,那就無信息可言。
一個人對外界事物,環(huán)境缺乏必要知識,往往表現(xiàn)為對處理和研究的對象,環(huán)境有某種不確定性就可以減少或消除,因而增加信息的效應(yīng)就是減少關(guān)于情況的不確定性;
現(xiàn)代信息論的創(chuàng)始人香農(nóng),擺脫了具體語言和符號系統(tǒng)的限制,撇開了事件發(fā)生的時間,地點(diǎn),內(nèi)容以及人們的情感及人們對事件的反應(yīng),而只顧及事件發(fā)生的狀態(tài)數(shù)目及每種狀態(tài)發(fā)生的可能性,這就使信息度量具有普遍性和實(shí)用性。
信息可以用它所排除的不確定性來度量。
信息量單位: 從事物兩種等幾率的可能性中做出判斷所需要的信息叫做1比特
1比特=
從N種等概率事物中作出判斷所需要的信息量為
假定有一事件可能有N種結(jié)果,每種結(jié)果出現(xiàn)的概率為 ,其信息量為

當(dāng)終態(tài)還存在不確定性時(狀態(tài)不是唯一的),信息量為

其中 , 為可能的始態(tài)和末態(tài)數(shù)目。
例題1: 某6層樓房每層8個房間,編號為11-18,21-28…,61-68。某人詢問樓里的人員主任辦公室在哪兒?以下是不同人員提供的三個信息:“辦公室在53號房間”“辦公室在5層樓”“辦公室在第3間”。試問其信息量各為多少? 答案>> 二、信息熵
1、信息熵
熱力學(xué)熵表示宏觀態(tài)的分子狀態(tài)的無序程度
S=klnN
其中N表示宏觀態(tài)所包含的微觀態(tài)數(shù)目。
信息熵S 表征事物的不確定程度,I就是解除這種不確定性的信息量,兩者在數(shù)值上相等,有

根據(jù) ,若幾個狀態(tài)出現(xiàn)概率相等1/N=P則

若各狀態(tài)存在概率P 不等 ,則

2、信息量與熱力學(xué)熵
使系統(tǒng)從具有N個等概率狀態(tài)變?yōu)榫哂蠱個等概率狀態(tài)所必須獲得的信息量為

系統(tǒng)熱力學(xué)熵減小量為

因此

信息量實(shí)質(zhì)是負(fù)熵。信息熵表示事物運(yùn)動狀態(tài)的不肯定度,而信息量所表示的是體系的有序度,組織結(jié)構(gòu)程度,復(fù)雜性,特異性或進(jìn)化發(fā)展程度,是熵的對立面。熵就是一個系統(tǒng)失去了的信息的量度 三、信息熱力學(xué)
1、熱力學(xué)系統(tǒng)與通訊系統(tǒng)
離開冷源,無法傳熱和做功,冷源作用是提供信息,以控制熱能轉(zhuǎn)移的方向。熱力學(xué)傳熱過程中可以看作為一個通訊過程。
2、熱和功
(1)熱量是不帶有信息的能量形式—熱傳遞,是不帶信息的能量傳遞方式;
(2)功是一種有規(guī)則的形式,能量以功的形式傳遞可以受到控制管理—做功是帶有信息的能量傳遞方式。
3、束縛能和自由能
能量的傳遞和轉(zhuǎn)化必須有信息的控制才能進(jìn)行。如無溫差的兩物體雖有熱能,但外界不對它做功即不提供信息,熱傳遞不可能進(jìn)行;有溫差時,冷源向熱源提供信息,達(dá)到熱平衡時不再有可利用的信息,能量將無法傳遞。
束縛能:因缺乏信息而無法傳遞和轉(zhuǎn)化的能量。
內(nèi)能=自由能+束縛能

4、可逆過程與不可逆過程
可逆過程實(shí)質(zhì)是不損失信息的過程,不可逆過程實(shí)質(zhì)是損失信息的過程。
5、熱力學(xué)第二定律的信息論表述方式。
以開爾文敘述為例:離開冷源,熱量不可能自動的由高溫物體變?yōu)閷ν庾龉Α?/P>
第二定律信息論表述:任何自動進(jìn)行的熱力學(xué)過程總是損失信息的。即如果不從外界得到新的信息,那么對信息所進(jìn)行的操作和變換不可能使信息量增加。
克氏表述:熱自動從高到低,整個系統(tǒng)信息量降低(結(jié)構(gòu)性、層次性降低),靠外界做功(提供信息),可加大溫差,使層次性更鮮明,信息量增加 。 四、重新認(rèn)識熵
除了對熵的概念最初具有的認(rèn)識外,結(jié)合前邊對補(bǔ)充內(nèi)容的學(xué)習(xí),可引申出新的內(nèi)容。
1、熵是能量在空間分布均勻性的量度。
能量分布不均勻性越大,能量做功效率越高,熵值越小。
2、熵是不可利用能(束縛能)多少的度量。

其中 為束縛能。
3、熵產(chǎn)生 是過程不可逆的量度。

又稱熵產(chǎn)生, 稱熵流, 反映耗散過程不可逆性的強(qiáng)弱。
4、熵是系統(tǒng)失去信息多少的量度,信息量實(shí)質(zhì)是負(fù)熵。
,因不可逆過程而失去信息
,獲得信息,但不能自動須靠外界提供
5、信息量與熱力學(xué)熵之間滿足關(guān)系
總體總結(jié):生物體是不斷同外界產(chǎn)生物質(zhì)流、能量流和信息流的復(fù)雜系統(tǒng)。 |