作者簡介：

諸葛達維，博士，浙江傳媒學院助理研究員，浙江大學中國海洋文化傳播研究中心研究員，浙江大學數(shù)字娛樂產(chǎn)業(yè)研究中心研究員，主要從事認知神經(jīng)科學與傳播符號學研究。

【摘要】符號意義的生成與傳遞是一個認知理解的傳播過程。如何科學有效地研究符號意義的生成與傳播機制是傳播符號學關注的核心問題。認知神經(jīng)科學與傳播符號學共享符號學基礎，能夠?qū)鞑シ枌W理論的完善與提升提供跨學科支持。本文將從跨學科的視角出發(fā)，分析傳播符號學與認知科學之間的學理邏輯，并嘗試將認知科學中前沿的認知神經(jīng)科學方法引入傳播符號學研究中，探索傳播符號學理論研究的新范式，為傳播符號學的理論推進與跨學科研究提供有益的探索。

【關鍵詞】符號學，傳播符號學，認知科學，認知神經(jīng)科學

符號學與傳播學有著天然的聯(lián)系。傳播學研究的是“交流”問題，而任何形式的交流都需要借助符號來完成。符經(jīng)典的結構主義符號學指出，“大體來說，符號學的疆界和結構主義接壤：兩個學科的興趣基本上是相同的。從長遠來看，兩者都應被囊括在第三個容量很大的學科內(nèi)。它簡單地叫作交流?！保ɑ艨怂?，1997，p. 127）“因此，我們應當把人定義為符號的動物（animal symbolicum）來取代把人定義為理性的動物。只有這樣，我們才能指明人的獨特之處，也才能理解對人開放的新路——通向文化之路?！保ㄎ鳡?，2004，p. 37）可見，符號學是傳播學重要組成部分。

傳播學與符號學的天然聯(lián)系產(chǎn)生了傳播符號學，使傳播研究的焦點從傳播過程深入到符號意義的生成與傳達。約翰·菲斯克（John Fiske）對傳播符號學的建立做了重要貢獻，他指出傳播是意義的生產(chǎn)與交換，并鮮明地指出傳播研究不僅有過程學派，還有符號學派。過程學派視傳播為訊息的傳遞，關注的焦點在于傳送者和接收者如何進行譯碼和編碼，以及傳送者如何使用傳播媒介和管道。它探討傳播的效果和正確性問題。符號學派則視傳播為意義的生產(chǎn)與交換，關注的是訊息以及文本如何與人們互動并產(chǎn)生意義。（1995，p. 14）符號學派之所以重要，是因為人的獨特之處在于其是意義的生產(chǎn)者，而符號是承載著意義的物體。因此，符號學派使得傳播學天然具有精神上的超越性。

因此，傳播符號學的基本的邏輯是：傳播離不開符號，符號的意義在傳播中生成，其生成和流變的規(guī)律，構成了人類意義生產(chǎn)和文化建構的基本法則。（李思屈，劉研，2013）這一學理邏輯揭示的不僅是傳播符號學的關切問題，也是現(xiàn)代認知科學、認知神經(jīng)科學所關注的問題。傳播符號學與認知科學等學科，共享符號學原理，在認識論和方法論上與其他人文社會科學、自然科學形成對話的基礎。這一對話基礎使傳播學具有切實可行的跨學科基礎。李思屈教授指出“符號學是貫穿人文科學、社會科學與自然科學的基礎學科與方法，中國傳播符號學只有突破歷史形成的刻板印象，關注現(xiàn)實的傳播運動，研究人類意義生產(chǎn)與傳播過程中的真問題，才能迎來理論豐富、精神豐盈大發(fā)展。” （李思屈，劉研，2013）

因此，本文將從跨學科的視角出發(fā)，分析傳播符號學與認知科學之間的學理邏輯，并嘗試將認知科學中前沿的認知神經(jīng)科學方法引入傳播符號學研究中，為傳播符號學理論研究的創(chuàng)新提供有益的探索。

眾所周知，當代傳播符號學有兩大源流，一條源自瑞士語言學家費迪南·德·索緒爾，一條源自美國哲學家查爾斯·桑德斯·皮爾斯。索緒爾的符號學從語言學發(fā)端，注重表達與交流，是哲學本體論符號學。索素爾曾將符號學稱為關于心智運動的“普通心理學”。這個普通心理學就是現(xiàn)在的認知科學。（胡壯麟，2010）皮爾斯的符號學以哲學、邏輯學為基礎，注重思維與認知，是哲學認識論符號學。在皮爾斯看來，任何事物只要它獨立存在，并且和另一種事物有聯(lián)系，而且可以被“解釋”，那么它的功能就是符號。這就意味著，皮爾斯的符號概念能有效地發(fā)揮作用的一個最重要的領域?qū)⑹钦J識論：對“認識”過程本身的分析。（霍克斯，1997，p. 132）著名符號學家托馬斯·阿爾伯特·西比奧克曾說：“皮爾斯符號學肯定是一門認知科學?！?國內(nèi)也有符號學專家通過從邏輯范疇、實用主義哲學、符號學范疇與認知科學角度綜合分析比較皮爾斯符號學與認知科學后指出，皮爾斯符號學就是“認知符號學”（郭鴻，2011）的觀點?？梢?，符號學自誕生之日起就具有認知的特性，符號學本來就是認知符號學 （趙毅衡，2015）。

圖1：皮爾斯認知符號學的意義三分模式

在認知符號學研究中，符號的認知機制是通過符號化過程實現(xiàn)的。符號化就是對感知進行意義解釋，是人對付經(jīng)驗的基本方式。這也是卡希爾關于“人是符號的動物”的應有之義。以皮爾斯為代表的認知符號學認為，符號意義生成與傳播不僅取決于符號再現(xiàn)體（representamen）與符號對象（object）之間的靜態(tài)關系，還取決于符號解釋者（interpretant）對符號進行能動地認知與解釋。因此，皮爾斯符號三分模式各要素之間的關系就決定了符號化過程的確切本質(zhì)。（霍克斯，1997，p. 130）符號化能夠給予我們感知的世界以意義，使自在的外在世界成為我們能夠認知與理解的符號世界。符號學家艾科指出，符號化過程有三步：一是思維主體確定某物“有某功能”，二是把該物歸類為“用于什么目的”，三是由此命名此物為“叫做什么”。（趙毅衡，2012，p. 35）這個過程也是人類心智認知的一般過程。人類認識世界是從感覺和知覺開始的，這相當于符號化的開端。當人們在感知事物后，對認知對象進行信息加工，進而形成表象和概念，這是符號化的第二步與第三步。這樣的思維認知過程在腦電波掃描中也得到了驗證。認知神經(jīng)科學家通過科學實驗證明了人的思想產(chǎn)生于所謂的“映像”，而不是人們通常認為的語言。腦電波掃描和其他心理功能測量結果也表明：腦細胞和神經(jīng)元的活動總是超前于我們有意識地思想和包含語言功能在內(nèi)的一些大腦領域的活動。只有當人們有意想把這些思想以語言的形式向自己或他人表達的時候，那些包含語言功能的神經(jīng)領域才會被激活。也就是說，“是認知決定語言，而不是語言決定認知”。（扎爾特曼，2004，p. 24）因此，人類認知過程是通過符號實現(xiàn)的，這也是目前心理學公認的基本原理之一。

圖2：LC4MP模型

在實際生活中，我們不必對物的所有品質(zhì)都進行感知才能進行符號意義的把握。我們通常只需要對符號對象的某些品質(zhì)與特征進行把握就可以，這是符號認知的片面化原理。這一原理在傳播與認知科學的研究中也得到了證明。美國印地安那大學電訊傳播系的安妮·朗（Annie Lang）教授通過大量媒介生理心理學實驗探索提出了動機性媒介訊息加工的有限容量模型LC4MP（Limited Capacity Model of Motivated, Mediated, Message Processing,Lang, 2009）。在媒介化訊息的認知加工的實際語境下，有限容量指的就是人類認知系統(tǒng)沒有能力徹底地加工一條媒介訊息中所包含的所有比特的信息。這一LC4MP模型包括三個動態(tài)平行的子過程，即編碼（encoding）、檢索（retrival）、儲存（storage）。各個子過程的加工程度依賴于認知資源在它們之間的分配。這個模型的基本前提就是，個體的認知資源是有限。有限認知容量的概念不僅僅是LC4MP某信的前提，在最早的有關人類注意和記憶的實驗的已發(fā)表的成果里，也被一些最受尊敬的心理學家納入到了他們所提出的理論中。（波特，博爾斯，2012，pp. 79-82） LC4MP模型關于有限認知資源的實際分配機制與符號感知片面化的實際情況具有一致性。這也從一定程度上證明了傳播符號學與認知科學的相通之處。

既然傳播符號學與認知科學具有相通的學理基礎，那么我們可以嘗試在傳播符號學研究中引入認知科學的方法。李思屈教授指出：當代傳播符號學研究“對認知神經(jīng)科學的嘗試性引進豐富了對符號主體的研究。意義不僅是符號、符號義和客體之間的互動的結果，而且也取決于符號認知主體——人，與符號之間的動態(tài)關系。而對符號認知主體的研究就成為傳播符號學進一步推進的關鍵環(huán)節(jié)。大腦是人類思想、感情和行為的中樞，符號的解釋和傳播效果的實現(xiàn)都離不開大腦的相關神經(jīng)活動。借助當代神經(jīng)科學的技術手段，結合傳播符號學的深度解釋，就有可能為相關研究領域帶來突破性進展?！保ɡ钏记?，2013） 歐陽宏生教授等人也指出，使用眼動儀等儀器來為人類本無法測知的內(nèi)在心緒等認知機制提供可靠的數(shù)據(jù)支撐，實現(xiàn)了認知與傳播研究在理論層面的飛躍。（歐陽宏生，朱婧雯，2015）

目前，國內(nèi)外已經(jīng)有學者將認知神經(jīng)科學方法運用于傳播學與符號學研究中。美國的印第安納大學開設了傳播與認知科學課程，并培養(yǎng)博士研究生。在國內(nèi)，以中國人民大學、浙江大學為代表的高等院校建立傳播與認知神經(jīng)科學研究實驗室，將認知神經(jīng)科學方法運用到媒體傳播效果測評、品牌形象代言等研究中。目前傳播符號學研究中較為常用的認知神經(jīng)科學方法有：、眼動追蹤技術（eye tracking）、腦電圖（EEG/ERPs）、功能性核磁共振成像（fMRI）、心率等其他生理心理學方法。在這些認知神經(jīng)科學方法中既有對中樞神經(jīng)系統(tǒng)的測量，也有對周圍神經(jīng)系統(tǒng)的測量，這些神經(jīng)生理心理反應都與涉身性認知（embodied cognition）的心智活動相關。下面，筆者將對這些認知神經(jīng)科學方法在傳播符號學研究中的原理及應用做簡要評析。

基于eye-mind hypothesis原理設計的眼動儀（Eye Tracker）是認知科學、心理學和醫(yī)學中用來通過觀察人的眼球運動來分析心理認知規(guī)律的工具。眼動追蹤技術（EYE GAZE TRACKING TECHNOLOGY）就是借助眼動儀記錄分析人的視線活動情況，并以此來分析認知活動的技術方法。視覺是人類獲取信息最重要的途徑，信息認知加工在很大程度上依賴于視覺，約有80%~90%的外界信息是通過人的眼睛獲得的。

眼動有三種基本形式：注視（fixation）、眼跳（saccades）和追隨運動（pursuit movement）。眼動儀記錄的眼動信息主要是注視和眼跳。100ms以上的視線（eye gaze）停留成為注視，絕大多數(shù)信息只有在注視的時候才進入認知加工過程。注視點之間的飛速跳躍稱為眼跳，眼跳其間幾乎不加工任何信息。在認知神經(jīng)科學中，注意（attention）是指心理活動對一定事物的指向與集中，是一種思維層面的認知活動。注意具有“指向性”和“集中性”兩大特點（李婷，2012，13），指向性是指人的心理活動選擇了某個對象而忽略了其余對象的心理過程，說明大腦能有效濾除不相關的信息，而將感興趣的區(qū)域移動到具有高分辨率的視網(wǎng)膜中央凹區(qū)。集中性指個體將心理活動穩(wěn)定在某個對象上并且抑制多余的活動，說明個體能夠屏蔽掉外部非關鍵性信息，而將注意聚焦在關鍵的刺激源上。因此，注意是一種重要的認知活動，當某個物體具有非常高的吸引力時，人們會不由自主地將注意目光投向它。根據(jù)眼動記錄的數(shù)據(jù)，我們可以分析人們感知與關注的興趣區(qū)域、注視時間長度、視線信息搜索路徑等與視覺符號認知相關的數(shù)據(jù)情況。

眼動追蹤技術在媒體傳播效果測評中應用廣泛（李思屈，諸葛達維，2016），其學理基礎正是傳播符號學與認知科學。我們以廣告認知效果測評為例，下圖顯示的眼動儀測量的廣告?zhèn)鞑バЧ麩釄D（heat map）。其中，紅色區(qū)域是被試關注程度較高的區(qū)域，藍綠色區(qū)域是被試關注程度較少的區(qū)域，而熱圖沒有覆蓋的區(qū)域幾乎沒有受到被試的認知關注。這則廣告實驗測試結果印證了符號感知片面化的原理。我們在對該廣告信息的認知時，并不是對廣告中的所有符號進行感知與選擇，而是對其中的部分符號品質(zhì)，即眼動熱圖所覆蓋區(qū)域的品質(zhì)，進行加工以掌握整幅圖片的意義。從熱圖中可以看出，被試通過對產(chǎn)品名稱、代言人面孔及手勢方向這幾個廣告符號要素來對該廣告信息進行認知加工。

圖3：廣告效果評估的眼動實驗熱圖（heat map）

腦電圖（EEG）是腦電活動的總稱，表征大腦思維活動。事件相關電位（ERPs）是基于腦電提取的，與一定的心理活動（即事件）相關聯(lián)的腦電位變化。經(jīng)過心理學家、神經(jīng)科學家、醫(yī)學家等科研人員50多年的研究，已經(jīng)發(fā)現(xiàn)與注意、信號感知、分析判斷、決策及工作記憶內(nèi)容更新等認知過程相關聯(lián)的ERPs成分。這一方法對于符號化過程的研究具有重要借鑒意義。而且，ERPs具有毫秒級的實踐分辨率、所需設備簡單和環(huán)境適應性強等優(yōu)點，使它的應用范圍越來越廣。它與空間優(yōu)勢的功能性磁共振成像（fMRI）等技術形成了相輔相成的并行發(fā)展之勢。（趙侖，2010，p. 1）

ERPs的不同認知成分對于研究符號化過程各個階段的特征具有重要借鑒意義。ERP s成分眾多，經(jīng)典的ERPs成分有N1，N2，P1，P2，P3，LPP等。ERP s成分通常根據(jù)刺激產(chǎn)生時間階段進行命名，如P3系列中的P300，表示事件產(chǎn)生300毫秒后出現(xiàn)的正波，N400 表示事件出現(xiàn)400毫秒以后產(chǎn)生的負波。不同的ERPs成分與不同階段的認知反應相關，這對于符號化認知過程的深入分析具有重要參考價值。如P300與注意、辨認、決策、記憶等認知功能相密切相關，晚期正成分LPP與情緒加工有關，等等。下圖是ERPs的工作原理，其中實驗中的事件（event）是刺激人腦認知的符號，事件激發(fā)的腦電位活動（ERPs）就是人腦認知反應。ERPs實驗將事件符號反復呈現(xiàn)給被試觀看，并將刺激對應的腦電波截取后進行疊加、平均、濾波等一系列運算處理，產(chǎn)生如圖B右側的光滑的認知曲線。圖中可以看出明顯的N1，N2，P1，P2，P3等認知成分。

   圖4：ERPs分析原理示意圖（圖為P300成分分析示意圖）

功能性核磁共振成像（fMRI）是一種新興的神經(jīng)影像學方式，其原理是利用磁振造影來測量神經(jīng)元活動所引發(fā)之血液動力的改變。fMRI可以觀察認知加工過程中，大腦不同區(qū)域參與加工的情況。當認知過程產(chǎn)生時，參與認知加工的大腦區(qū)域會精確地在fMRI影像中顯現(xiàn)出來，這對于符號認知的心智資源的腦區(qū)結構探索具有重要意義。由于fMRI空間優(yōu)勢而非時間優(yōu)勢、設備昂貴、實驗環(huán)境要求較高等原因，目前沒有被傳播符號學研究廣泛使用。但其精確的空間定位，以及簡單直觀的腦區(qū)影像分析等優(yōu)勢是腦電等其他方法不可替代的。

其他與認知活動相關的生理心理學方法還有心率（HR），通常與皮膚電傳導反應（SC）、面部肌電反應（facial EMG）等情緒測量方法綜合運用。心臟活動受神經(jīng)系統(tǒng)分支中交感神經(jīng)和副交感神經(jīng)的雙重支配，其中交感神經(jīng)活動與情緒反應相關、副交感神經(jīng)活動與認知資源分配相關。雖然有很多心理生理學研究表明，心率能被用于標示分配給對媒介化內(nèi)容進行編碼的認知資源，但由于任何觀察到的心率變化都是受交感神經(jīng)和副交感神經(jīng)系統(tǒng)共同激活的一個復雜的結合。在傳播符號學與認知傳播研究中，心率是測量認知反應的常用方法，皮膚電與面部肌電是測量情緒反應常用的方法。因此，實際使用中，研究者通常將心率與測量情緒的皮膚電、肌電反應配合起來使用，以得出更加客觀的結果。

西比奧克曾經(jīng)對符號學與認知科學的淵源有較為明確的論述，他提出“認知科學的另一個別名可以做符號學?！彼倪@一論斷是建立在皮爾斯關于符號的觀點基礎上的，皮爾斯曾說過：“整個世界是被符號所滲透的?！?這也是符號學的基本世界觀?！拔覀兌加幸粋€關于世界的精神或心理模式，一個除符號別無所有的內(nèi)在化的心理模式?！边@一看似唯心論的見解在某種程度上與量子力學的觀點相一致。（1991，pp. 16-24）量子力學是關于研究主體與被研究客體之間的相互關系與作用的規(guī)律。一個經(jīng)典的例子就是“薛定諤的貓”，量子力學告訴我們，這只貓的存在不是一個確定的狀態(tài)，而是處在一個中間態(tài)，貓既不死也不活，直到觀察者對其進行觀察才能確定其的存在狀態(tài)。在量子測量中，主體與客體的分界線變得模糊不清了。量子力學不再是完全客觀的，還包括有主觀因素。這與傳播符號學關于世界是由解釋者感知到的符號組成的觀點具有一致性。實際上，量子力學雖然屬于物理學領域，但也有其哲學基礎，這主要涉及本體論基礎與認識論基礎。而符號學也具有哲學本體論與認識論上的基礎，皮爾斯本人就是哲學家，其符號學或曰認知符號學直接具有哲學的高度。因此，從某種程度上看，人文科學和自然界學在一些基本層面上是統(tǒng)一的。

西比奧克作為符號學家，同時也是生物學家，因此他能夠超越人類符號現(xiàn)象的局限，力求將整個生物界都納入其考慮范圍，在使語言學、生物學、神經(jīng)認知科學、人類學、社會學、文化心理學等，通過“符號”這一核心樞紐被關聯(lián)整合起來，并提出了環(huán)球符號學（global semiotics，或譯為“全面符號學”）的構想。西比奧克的努力使得符號學既具備實證的自然科學基礎又飽含深刻的人文關懷和生態(tài)意義，突出了符號學在整個學科生態(tài)中的地位與作用。

認知神經(jīng)科學對于傳播符號學關于人類情感與認知的加工機制與測量方法創(chuàng)新具有重要意義。因為情感與認知是生物基礎、文化、社會三者之間相互作用的結果。即使是社會科學取向的情感與認知研究也不應排斥人腦的神經(jīng)基礎?！叭绻鐣W家不樂于在理論上和實證研究中思考這個命題，那么他們將在下一個時代落后于自然科學對復雜情感的神經(jīng)學研究”（特納，2007，p. 255）。因此，探索符號認知背后的腦神經(jīng)機制對于傳播符號學乃至這個社會科學發(fā)展都具有重要意義。2000年美國國家科學基金會（NSF）將認知科學與納米技術、生物技術、信息技術一道列為21世紀四項最重要的科學技術。中國科學院也將認知神經(jīng)科學列為“新世紀將對人類產(chǎn)生重大影響的十大科技趨勢”之一。筆者將認知神經(jīng)科學方法引入傳播符號學研究不僅范式與方法上的創(chuàng)新，也是理論探索的嘗試。