您想知道的人工智能干貨，第一時(shí)間送達(dá)

意識名詞的區(qū)分可以參考：

https://zhuanlan.zhihu.com/p/56064405

本文只列舉簡單觀點(diǎn)描述，詳情請參考原論文。全文約5000字

關(guān)鍵點(diǎn)：

睡眠期間的神經(jīng)元?jiǎng)恿W(xué)似乎將最小化生成模型的復(fù)雜性 (即,在缺乏感官證據(jù)的情況下,最小化后驗(yàn)信念和前驗(yàn)信念之間的分歧)。這正是統(tǒng)計(jì)學(xué)中提出的在缺乏新統(tǒng)計(jì)數(shù)據(jù)的情況下優(yōu)化模型的論點(diǎn)——通過刪除冗余的模型參數(shù)

物理學(xué)(即統(tǒng)計(jì)熱力學(xué))與信念更新發(fā)生在同一個(gè)統(tǒng)計(jì)流形上

自由能為信息整理意識理論提供的基礎(chǔ)

意識推理與時(shí)間深度生成模型的關(guān)系

信念演算

1、

意識的馬爾可夫一元論,它包含兩個(gè)主張:

(1)從根本上說,只有一種類型的事物,只有一種類型的不可約性(因此是一元論)。

(2)所有擁有馬爾科夫毯的系統(tǒng)都具有與理解心智和意識相關(guān)的性質(zhì):如果這樣的系統(tǒng)具有心智性質(zhì),那么它們部分地由于擁有馬爾科夫毯而具有心智性質(zhì) (因此是馬爾科夫的)。

馬爾可夫一元論依賴于隨機(jī)動態(tài)系統(tǒng)的信息幾何。簡而言之,在任何系統(tǒng)中誘發(fā)的信息幾何——其內(nèi)部狀態(tài)可以與外部狀態(tài)區(qū)分開來——必須具有雙重性。這個(gè)雙重方面涉及內(nèi)部狀態(tài)的概率演化的(內(nèi)在)信息幾何,以及關(guān)于由內(nèi)部狀態(tài)參數(shù)化的外部狀態(tài)的概率信念的獨(dú)立(外在)信息幾何。我們分別稱之為內(nèi)在的(即,機(jī)械的,或基于狀態(tài)的)和外在的(即,馬爾可夫的,或基于信念的)信息幾何。盡管這些數(shù)學(xué)概念聽起來可能很復(fù)雜,但它們操作起來相當(dāng)簡單,并且可能提供一種方法來構(gòu)建意識的起源。

2、

我們首先建立用來描述物理系統(tǒng)的基本設(shè)置,這些物理系統(tǒng)顯示了容納前理論意識概念所必需的現(xiàn)象學(xué)。這將涉及到馬爾可夫鏈的引入,以及系統(tǒng)或生物的內(nèi)部和外部狀態(tài)的區(qū)別

3、

在區(qū)分了外部狀態(tài)和內(nèi)部狀態(tài)之后,我們引入了信息長度和信息幾何的概念。這是理論分析的第一個(gè)關(guān)鍵步驟。至關(guān)重要的是,信息幾何允許我們根據(jù)概率分布建立信念演算。這種演算能夠區(qū)分事物的概率分布和關(guān)于事物的概率分布（distinction to be made between the probability distribution about things and the probability distribution of things.）。然后,這種區(qū)別被視為一種描述(從字面上)將信念狀態(tài)映射到物理狀態(tài)的方式; 這里,關(guān)于外部狀態(tài)的信念被參數(shù)化,被表示,被編碼或者與內(nèi)部狀態(tài)一致。我們將把隨后的觀點(diǎn)稱為馬爾可夫一元論,因?yàn)樗墙⒃隈R爾可夫鏈存在的基礎(chǔ)上的。

4、

這篇論文可能會對意識的起源有所啟發(fā)。首先,將主觀的、現(xiàn)象意識的概念應(yīng)用到一個(gè)系統(tǒng)中,通常會假定這個(gè)系統(tǒng)可以從兩個(gè)角度來描述(即,從第三視角和第一人稱視角)。第二,目標(biāo)導(dǎo)向和“好像”意向性的最小形式——人們可以將其歸因于有感覺的系統(tǒng)——提供了為更高層次的概念奠定基礎(chǔ)的概念基石,如物理計(jì)算、意向性和表征,這可能有助于理解從無意識到有意識的有機(jī)體的進(jìn)化過渡,從而闡明意識的起源。

5、自由能核心知識：

圖片出自 Active inference on discrete state-spaces: A synthesis

6、

在統(tǒng)計(jì)熱力學(xué)和自證性(即最小化變化自由能)提供的描述之間移動沒有困難。從這個(gè)意義上說,變分自由能是一個(gè)外在信息幾何的特征,它是由具有內(nèi)在信息幾何的內(nèi)部狀態(tài)所編碼的信念所誘導(dǎo)的。這個(gè)自由能有梯度,對內(nèi)部狀態(tài)施加力,使它們參數(shù)化新的信念。這些新的信念依賴于馬爾科夫毯(例如,感官)狀態(tài);從而提供感知的數(shù)學(xué)圖像。此外,相同的貝葉斯機(jī)制適用于改變外部狀態(tài)的主動狀態(tài)——從而調(diào)節(jié)對世界的行動。

7、

信息長度反映了隨著時(shí)間的推移概率密度的累積變化。如果一個(gè)系統(tǒng)在一段時(shí)間后達(dá)到非平衡穩(wěn)態(tài),那么信息長度漸近于初始(特定)狀態(tài)和最終(穩(wěn)態(tài))狀態(tài)之間的距離。這意味著,我們可以根據(jù)信息長度停止增長所需的(臨界)時(shí)間 τ 來描述返回穩(wěn)態(tài)的某種粒子(或生物系統(tǒng))

臨界時(shí)間短的系統(tǒng)將有效地迅速收斂到非平衡穩(wěn)態(tài),并表現(xiàn)出簡單的自組織(如海兔鰓和虹吸退縮反射)。從數(shù)學(xué)上講,這類低級系統(tǒng)很快就會“忘記”它們的初始條件。相反,具有長臨界時(shí)間的粒子將表現(xiàn)出流動的密度動力學(xué)(例如,高級生物你和我)。像你我這樣的系統(tǒng)'記得’我們的初始條件,看起來好像在追求長遠(yuǎn)的計(jì)劃。

8、

對于所有擁有馬爾可夫毯的系統(tǒng)。它們的內(nèi)部狀態(tài)既可以與內(nèi)在信息幾何相關(guān),也可以與外在信息幾何相關(guān)。這有什么形而上學(xué)的含義?是不是所有有馬爾可夫毯的系統(tǒng)都有頭腦(因?yàn)樗鼈冇嘘P(guān)于外部狀態(tài)的概率信念)?這樣的系統(tǒng)是有意識的嗎?形式主義本身并沒有回答這些問題:對于對偶信息幾何的存在,不同的形而上學(xué)解釋是可能的。事實(shí)上,人們可能會問它是否有任何形而上學(xué)的意義。因?yàn)橥獠啃畔缀蔚拇嬖趦H僅意味著人們可以將內(nèi)部狀態(tài)映射到條件概率分布(在外部狀態(tài)上,給定毯式狀態(tài))。

9、

我們稱由此產(chǎn)生的觀點(diǎn)為“馬爾可夫一元論”。馬爾可夫一元論包含兩個(gè)主張 :(1)從根本上說,事物只有一種類型,只有一種類型的不可約性(這就是為什么它是馬爾可夫一元論)。(2)所有擁有馬爾科夫毯的系統(tǒng)都具有與理解心智和意識相關(guān)的性質(zhì):如果這樣的系統(tǒng)具有心智性質(zhì),那么它們部分地由于擁有馬爾科夫毯而具有心智性質(zhì) (這就是為什么它是馬爾科夫一元論)

10、

馬爾可夫一元論可以被定義為中性一元論的一個(gè)版本,其中基本實(shí)體本質(zhì)上既不是精神的也不是物質(zhì)的。存在的事物有兩種共軛的描述方式:要么從內(nèi)在信息幾何學(xué)的角度,要么從外在信息幾何學(xué)的角度。在假設(shè)兩種觀點(diǎn)都沒有特權(quán)的情況下,人們不得不得出這樣的結(jié)論:從根本上說,現(xiàn)實(shí)是本體論中立的。

然而,這也將預(yù)先假定根據(jù)外部信息幾何對描述的現(xiàn)實(shí)主義解釋(即,人們將不得不假設(shè)所有具有馬爾可夫毯的系統(tǒng)實(shí)際上表示概率分布并執(zhí)行計(jì)算)。此外,它的后果是,即使相對簡單的系統(tǒng), 如單細(xì)胞生物,也會有思考推理(如[103]).

11、

馬爾可夫一元論類似于雙面一元論(參見[)107],第 220-221 頁),因?yàn)樗馕吨粋€(gè)事物(即擁有馬爾科夫毯的系統(tǒng)的內(nèi)部狀態(tài))可以從兩個(gè)角度來看。內(nèi)部狀態(tài)可以看作是隨機(jī)動力系統(tǒng)的狀態(tài);或者它們可以被視為概率分布的參數(shù)(即概率信念)。為了算作一個(gè)雙方面一元論,這兩個(gè)觀點(diǎn)必須是相互不可約的(見[106],第 46 頁;[105],第 341 頁),我們懷疑這將是雙重信息幾何的連貫解釋。

12、

人們可以將兩種信息幾何與擁有馬爾科夫毯的系統(tǒng)聯(lián)系起來,這一事實(shí)揭示了簡單的無意識系統(tǒng)與更復(fù)雜的有意識系統(tǒng)(如人類)之間的連續(xù)性

基于時(shí)間深層生成模型和淺層生成模型之間的區(qū)別,伴隨著有意識和無意識推理之間的區(qū)別。這種區(qū)分是模糊的,因?yàn)槿魏蝿討B(tài)生成模型在一定程度上都有時(shí)間深度。例如,預(yù)測編碼、穩(wěn)態(tài)和恒溫器都可以用知覺控制來表達(dá)[46,110,111]和使用基于微分方程的生成模型的主動推理的自反形式。生成模型需要微分方程的事實(shí)意味著隨著時(shí)間的推移會有一些推論。深層和淺層之間的區(qū)別就變成了一個(gè)量化的問題。也許更好的區(qū)別在于,生成模型提供了一條通向未來的單一軌跡,而多條(依賴于反事實(shí)行動的)軌跡會導(dǎo)致選擇問題;即選擇一個(gè)行動或計(jì)劃。

13、

integrated information theory (IIT意識理論)

FEP 自由能展現(xiàn)了經(jīng)驗(yàn)的本質(zhì)屬性,這些屬性構(gòu)成了 IIT 的公理基礎(chǔ)。有五個(gè)公理;即內(nèi)在存在、構(gòu)成、信息、整合和排斥。簡而言之: ·內(nèi)在存在——意識存在:每一個(gè)體驗(yàn)都是真實(shí)的,從它自己內(nèi)在的角度存在。這是在自由能原理下貝葉斯力學(xué)的必然結(jié)果,因?yàn)橥评肀澈蟮膭恿W(xué)是物理實(shí)現(xiàn)的, 就結(jié)構(gòu)而言,內(nèi)在的是指內(nèi)部狀態(tài)。

·構(gòu)成——意識是有結(jié)構(gòu)的:有多重現(xiàn)象的區(qū)別。同樣,這是貝葉斯力學(xué)的一個(gè)必要方面,它是根據(jù)條件獨(dú)立性中隱含的結(jié)構(gòu)來定義的。事實(shí)上,從統(tǒng)計(jì)學(xué)的角度來看,最小化自由變量能量是結(jié)構(gòu)學(xué)習(xí)的同義詞 59,121,122].

·信息——意識是獨(dú)一無二的:每一種體驗(yàn)都有其獨(dú)特的方式,因此不同于其他可能的體驗(yàn)(即分化)。

同樣,這是在自由能原理下的貝葉斯力學(xué)的基礎(chǔ)。在某種意義上,任何信息幾何都意味著(內(nèi)部或內(nèi)在狀態(tài)的)統(tǒng)計(jì)流形上的特定點(diǎn)映射到特定的有顯著支持的概率或信念狀態(tài)(即,在外部狀態(tài)上的外在信念分布)。

·整合——意識是統(tǒng)一的:每個(gè)體驗(yàn)都不可簡化為現(xiàn)象區(qū)別的不相交子集(即整合)。同樣,這是信息的一個(gè)必要方面支持自由能原理的幾何學(xué)。這是因?yàn)閷τ趦?nèi)部統(tǒng)計(jì)流形上的每個(gè)點(diǎn),都有一個(gè)單一的概率置信(即,變化的密度)。換句話說,雖然這個(gè)密度可能是非常高維的,但它只是一個(gè)無法被掩飾或減少的概率信念。整合公理的另一個(gè)方面是“系統(tǒng)的每個(gè)部分在系統(tǒng)的其余部分中都有因果關(guān)系”([123],第 3 頁)。這對于擁有馬爾可夫毯的系統(tǒng)來說是正確的,因?yàn)閮?nèi)部狀態(tài)的梯度流(以及相關(guān)的信念更新)根據(jù)定義是有條件依賴的。

·排斥——意識是確定的:每一種體驗(yàn)都以它是什么為特征(不多也不少),并以它流動的速度流動(不快也不慢)。同樣,這是必要的支持自由能原理的密度動力學(xué)的結(jié)果。換句話說,外在(統(tǒng)計(jì))流形上的流是唯一的,并且需要關(guān)于外部狀態(tài)的特定概率信念,即,關(guān)于處于特定(外部)狀態(tài)而不是另一狀態(tài)的精確信念。此外, 每個(gè)概率信念都有自己的充分統(tǒng)計(jì),排除了其他充分統(tǒng)計(jì)的可能性。例如,關(guān)于我體溫的信念可以被規(guī)定為期望我的體溫是這樣那樣的。這排除了我期望我的體溫是別的什么的可能性。然而, 與排除公理相反,在一個(gè)時(shí)空尺度上的馬爾科夫毯的存在并不排除在其他時(shí)空尺度上的(例如, 嵌套的)馬爾科夫毯的存在

14、

這一節(jié)的重要結(jié)果是,至少一些與意識相關(guān)的性質(zhì)已經(jīng)包含在自由能原理下的貝葉斯力學(xué)中了。這支持了(推測性的)假設(shè),即在生成模型上增加進(jìn)一步的約束——由擁有馬爾科夫毯的系統(tǒng)產(chǎn)生——可能使我們能夠說出哪些系統(tǒng)是有意識的,哪些是無意識的。無意識系統(tǒng)不會以一種需要實(shí)例化意識特征的方式進(jìn)行主動推理,而有意識系統(tǒng)會。詳細(xì)說明生成模型上的限制可以導(dǎo)致意識的單一概念 124],而不是一堆特性描述;參見[125]).換句話說,一種足夠具體的主動推理可以描述計(jì)算過程,這些計(jì)算過程解釋了意識特有的特征集群——從而表明為什么這些特征集群在一起(參見[126],第 7 頁)

15、

我們將關(guān)注一個(gè)典型的例子;即睡眠和做夢。那么,關(guān)于有意識或無意識的推理,睡眠生理學(xué)告訴了我們什么

然而,在非平衡穩(wěn)態(tài)下,從毯態(tài)脫離的周期本身必定是短暫且重復(fù)的;即,成為具有拉回吸引子的巡回動態(tài)的一部分。這意味著貝葉斯力學(xué)必須仍然適用,即使在任何與毯態(tài)耦合暫停期間。我們將考慮一個(gè)(睡眠的)生理情況,其中自主動力學(xué)仍然在起作用。在這種情況下,變化的自由能梯度是由不依賴于包層態(tài)的自由能驅(qū)動的。這部分是等式(5)的復(fù)雜性項(xiàng),其中移除覆蓋狀態(tài)公開了解決內(nèi)部動態(tài)的復(fù)雜性(即冗余)的描述，

睡眠期間的神經(jīng)元?jiǎng)恿W(xué)似乎將最小化生成模型的復(fù)雜性 (即,在缺乏感官證據(jù)的情況下,最小化后驗(yàn)信念和前驗(yàn)信念之間的分歧)。這正是統(tǒng)計(jì)學(xué)中提出的在缺乏新統(tǒng)計(jì)數(shù)據(jù)的情況下優(yōu)化模型的論點(diǎn)——通過刪除冗余的模型參數(shù)[128].在神經(jīng)生理學(xué)中,這是我們之前解釋睡眠現(xiàn)象學(xué)存，在的論點(diǎn)——特別是夢的作用[129–131].簡而言之,意識改變的生理狀態(tài),如睡眠,可能會為理論概念提供一個(gè)重要的經(jīng)驗(yàn)處理方式——這些概念來自感覺的變化原理

16、

從科學(xué)哲學(xué)的角度來看,也許處理雙重信息幾何的最站得住腳的方法是在結(jié)構(gòu)實(shí)在論下。我們的意思是,由上述數(shù)學(xué)分析提供的數(shù)學(xué)和幾何形式(即結(jié)構(gòu))允許人們談?wù)?概率)信念和“持有”或“代表”這些信念的內(nèi)部狀態(tài)的(統(tǒng)計(jì))物理學(xué)之間的關(guān)系。結(jié)構(gòu)實(shí)在論減輕了信息結(jié)構(gòu)及其內(nèi)容之間映射的任何強(qiáng)有力的本體論承諾的壓力。然而,在以下意義上,這種信息結(jié)構(gòu)意味著概率信念(關(guān)于外部狀態(tài))和參數(shù)化概率分布(關(guān)于內(nèi)部狀態(tài))的合法依賴性。內(nèi)部統(tǒng)計(jì)流形上的任何移動必然伴隨著信念空間中的移動,這通過由預(yù)期內(nèi)部狀態(tài)參數(shù)化的信念之間的信息長度或距離來測量。此外,因?yàn)檫@些內(nèi)部狀態(tài)依賴于條件期望的統(tǒng)計(jì)流形,它們必須扮演熱力學(xué)變量的角色

由此可見,信念更新和統(tǒng)計(jì)熱力學(xué)都發(fā)生在同一個(gè)內(nèi)部流形。注意,這里的主張是物理學(xué)(即統(tǒng)計(jì)熱力學(xué))與信念更新發(fā)生在同一個(gè)統(tǒng)計(jì)流形上。這種伴隨性——在相同的統(tǒng)計(jì)流形上——兩種信息幾何都繼承了它們的結(jié)構(gòu),可以被解讀為內(nèi)在和外在信息幾何所隱含的數(shù)學(xué)共軛的哲學(xué)公式。

自由能意識論文推薦兩篇：

An Integrated World Modeling Theory (IWMT) of Consciousness: Combining Integrated Information and Global Neuronal Workspace Theories With the Free Energy Principle and Active Inference Framework; Toward Solving the Hard Problem and Characterizing Agentic Causation

Integrated World Modeling Theory (IWMT) Expanded: Implications for Theories of Consciousness and Artificial Intelligence