面對人工智能技術(shù)，特別是致命性自主武器系統(tǒng)的飛速發(fā)展和廣泛應(yīng)用，如何加強(qiáng)人對自主系統(tǒng)的控制，是一個(gè)值得研究和亟需解決的問題。近日，聯(lián)合國裁軍研究所發(fā)布了題為《自主武器系統(tǒng)中的人機(jī)接口》的研究報(bào)告，強(qiáng)調(diào)了人機(jī)接口在人機(jī)交互和人類控制中的重要作用，提出了自主武器系統(tǒng)中的人機(jī)接口和人機(jī)交互方面的需求，闡釋了人機(jī)接口的設(shè)計(jì)方法以及對人員訓(xùn)練的影響，探討了人工智能系統(tǒng)的可解釋性和透明性，并提出未來的工作建議。

中國指揮與控制學(xué)會堅(jiān)持以傳播知識、交流思想、啟迪未來、促進(jìn)創(chuàng)新為己任，編譯了該報(bào)告的主要章節(jié)，以饗讀者。

談及高度自主的系統(tǒng)，人們腦海中可能就會出現(xiàn)獨(dú)自采取行動的機(jī)器畫面。但在現(xiàn)實(shí)中，迄今為止，不管其自主程度有多高，還有完全獨(dú)立自主的系統(tǒng)，它們總是具有某種形式的人類控制或監(jiān)督。由于武器系統(tǒng)完全自主的目標(biāo)目前既不可行，也不符合軍事效率的要求，人機(jī)交互仍然是討論自主武器系統(tǒng)的核心。

人類對自主武器系統(tǒng)（AWS）的控制，一直是致命自主武器系統(tǒng)方面的政府專家小組討論的一個(gè)核心議題。該小組于2019年一致通過的《專家組指導(dǎo)原則》，就反映了這一主題的重要性，特別是原則C，其中指出：

人機(jī)交互可能采取各種形式，在武器生命周期的不同階段實(shí)施。在致命自主武器系統(tǒng)領(lǐng)域，應(yīng)確?；谛屡d技術(shù)的武器系統(tǒng)的潛在使用符合適用的國際法，特別是國際人道主義法。在確定人機(jī)交互的質(zhì)量和程度時(shí)，應(yīng)考慮一系列因素，包括作戰(zhàn)環(huán)境以及武器系統(tǒng)整體的特點(diǎn)和能力。

此后，人類控制作為一個(gè)關(guān)鍵概念，多年來一直是專家組辯論的核心。盡管在哪些能力需要徹底禁止或不禁止方面存在許多分歧，但締約國之間達(dá)成了廣泛的共識，即無論武器系統(tǒng)的自主程度如何，都需要保持一定程度的人類控制。

與作戰(zhàn)中自主性相關(guān)的幾個(gè)關(guān)鍵主題（例如責(zé)任和問責(zé)制、國際人道主義法的適用性）實(shí)際上在“人類控制”概念的范圍內(nèi)。這與人工智能、機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)在民用領(lǐng)域的應(yīng)用相呼應(yīng)。在這些民用領(lǐng)域中，圍繞“可控性”的討論成了中心話題，涉及“復(fù)雜的技術(shù)、人體工程、法律、道德和組織因素”。

1.1. 切實(shí)可行的人類控制措施和人機(jī)接口的作用

對于自主武器系統(tǒng)，提煉其中人類控制的含義及參數(shù)一直是一項(xiàng)具有挑戰(zhàn)性的工作，并且由于系統(tǒng)和作戰(zhàn)環(huán)境之間的差異，使該問題進(jìn)一步復(fù)雜化。不過，人們通常提出的具體的人類控制措施，主要包括系統(tǒng)設(shè)計(jì)和使用方面的考慮。這種控制措施的分類，表明了實(shí)施人類控制的兩種不同但又相輔相成的方式，即武器系統(tǒng)本身的設(shè)計(jì)（包括硬件和軟件要素）和使用過程中的人類控制。

人機(jī)接口（HMI）對實(shí)現(xiàn)人類控制至關(guān)重要。它涵蓋了系統(tǒng)設(shè)計(jì)方面的標(biāo)準(zhǔn)，也包括使用方面的標(biāo)準(zhǔn)。

對于遠(yuǎn)程（有時(shí)非常遙遠(yuǎn)）控制的無人系統(tǒng)，人機(jī)接口的作用特別重要。操作人員與機(jī)器之間的感官連接就是以人機(jī)接口作為中介的。

實(shí)現(xiàn)自主系統(tǒng)的可控，并非只能通過接口，也不僅限于操作人員手動控制機(jī)器的能力。但是，作為人與機(jī)器之間的紐帶，接口對于控制自主武器系統(tǒng)至關(guān)重要，對系統(tǒng)的合法性使用有直接影響。雖然在系統(tǒng)設(shè)計(jì)中可以通過多種方式、分散運(yùn)用控制參數(shù)（例如，目標(biāo)類型等），但通過接口，使操作人員能夠監(jiān)視系統(tǒng)，在其他形式的控制出現(xiàn)問題或?qū)嶋H情況發(fā)生變化，“預(yù)先規(guī)劃的假設(shè)條件無效”時(shí)進(jìn)行干預(yù)。

1.2. 人機(jī)接口和自主架構(gòu)

在ISO標(biāo)準(zhǔn)ISO 9241-110：2020中，用戶接口被定義為“交互式系統(tǒng)的所有組件構(gòu)成的集合。為用戶提供信息和控制，以使用交互式系統(tǒng)完成特定任務(wù)”。

接口是人機(jī)系統(tǒng)的子系統(tǒng)，是“操作人員與機(jī)器交互的窗口”。接口包括許多組件，這些組件因系統(tǒng)而異，例如輸入控件（例如，按鈕和復(fù)選框）、導(dǎo)航組件、信息組件等。

一般來說，人機(jī)接口有助于輸入和輸出：操作人員將信息輸入技術(shù)系統(tǒng)，輸出結(jié)果表明輸入產(chǎn)生的影響。例如，在打擊目標(biāo)時(shí)，某種自主武器系統(tǒng)的輸入-輸出環(huán)路可能需要操作人員通過接口菜單將某些坐標(biāo)輸入系統(tǒng)。該系統(tǒng)會反饋提供自己的坐標(biāo)和評估信息，例如關(guān)于附帶損傷或基于操作程序的其他反饋（輸出）。

1.2.1 態(tài)勢感知

人機(jī)接口在形成態(tài)勢感知方面發(fā)揮著重要作用。態(tài)勢感知是人機(jī)交互的核心，尤其是在動態(tài)環(huán)境中。態(tài)勢感知受個(gè)人和組織因素（如壓力、工作量、任務(wù)切換要求或團(tuán)隊(duì)動態(tài)）以及系統(tǒng)因素（如系統(tǒng)能力（如傳感器收集相關(guān)數(shù)據(jù)的能力）、系統(tǒng)接口）的影響。接口設(shè)計(jì)的質(zhì)量可以直接顯著改進(jìn)態(tài)勢感知。

足夠的態(tài)勢感知水平，還有助于操作人員意識到，例如，某種情況超出了系統(tǒng)的自動化處理能力，或者自動化執(zhí)行不正確。

1.2.2 理解自主武器系統(tǒng)的狀態(tài)和行為

接口對于表示自主系統(tǒng)的關(guān)鍵控制特性至關(guān)重要，包括系統(tǒng)的可觀察性、可預(yù)測性和可引導(dǎo)性。

· 可觀察性是指觀察和監(jiān)視系統(tǒng)狀態(tài)的能力

· 可預(yù)測性是指理解系統(tǒng)的行為

· 可引導(dǎo)性是指對系統(tǒng)施加影響的能力

許多技術(shù)文獻(xiàn)對于控制要素有不同的分類，但“可觀察性-可預(yù)測性-可定向性”的目標(biāo)綜合了對武器系統(tǒng)自主能力和接口設(shè)計(jì)的基本要求。

人機(jī)接口不是一種孤立的能力，對于其在人類控制中的作用，只有在人機(jī)交互的框架內(nèi)才能理解。本章特別關(guān)注在更寬泛的自動化和自主化背景下考察對人提出的素質(zhì)需求，并結(jié)合接口的使用，考察接口所起的作用。

2.1. 新的人員素質(zhì)需求和認(rèn)知參與

自主性的引入帶來了對人員能力素質(zhì)要求方面的重要變化。開發(fā)有效的系統(tǒng)不僅僅是工程和技術(shù)進(jìn)步的問題。更是人員方面的問題?！白灾髯鲬?zhàn)最有問題的是人員方面，或人機(jī)集成”。

即使操作人員“僅僅”負(fù)責(zé)監(jiān)督一個(gè)自主系統(tǒng)，他們也面臨著許多挑戰(zhàn)。這些挑戰(zhàn)可能來自數(shù)據(jù)過載、系統(tǒng)的不可理解性、訓(xùn)練不足、接口設(shè)計(jì)沒有考慮到用戶的實(shí)際需求等等。

例如，在1988年的（美國）海軍文森斯號巡洋艦事件中，伊朗航空公司655號航班被軍艦上的宙斯盾作戰(zhàn)系統(tǒng)擊落時(shí)，設(shè)計(jì)拙劣的武器控制計(jì)算機(jī)接口導(dǎo)致飛機(jī)被錯(cuò)誤地識別為戰(zhàn)斗機(jī)。由于信息顯示過于復(fù)雜和不充分，給（武器）控制人員的印象是客機(jī)正在向軍艦俯沖而來，而實(shí)際上它正在遠(yuǎn)離軍艦。此外，對宙斯盾技術(shù)的過度自信最終導(dǎo)致對系統(tǒng)的“過度信任”，沒有懷疑系統(tǒng)的識別結(jié)果。

為了降低軍事環(huán)境中人機(jī)交互方面的一些風(fēng)險(xiǎn)，有人建議接口需要保持用戶的認(rèn)知參與，這一點(diǎn)已被致命性自主武器系統(tǒng)政府專家組所接受。

在自主系統(tǒng)中保持人的認(rèn)知參與是具有挑戰(zhàn)性的，至少有兩個(gè)原因：

第一個(gè)原因是，當(dāng)被賦予監(jiān)督角色時(shí)，人們根本無法持續(xù)、一致地保持注意力。期望操作人員持續(xù)保持警惕（這是在適當(dāng)?shù)臅r(shí)候進(jìn)行干預(yù)所必需的）也是不合情理的。將一個(gè)相當(dāng)被動的角色委托給操作人員，很可能會使他們脫離實(shí)際，從而難以保持警惕。正如一位專家解釋的那樣，“通常在[指揮和控制]中心，一切如常，然后突然發(fā)生了什么事情，你需要回到相應(yīng)的認(rèn)知回路。但無論這個(gè)人機(jī)接口有多好，你都很難理解當(dāng)前的情況”。

人們提出了一些通過接口設(shè)計(jì)，保持較高警惕的解決方案。英國國防部開發(fā)、概念與條令中心的一份報(bào)告表明，可以通過優(yōu)化接口以支持這一目標(biāo)，包括要求操作人員1）搜索已確定的對象（這可以增強(qiáng)心智方面的參與），2）探詢相關(guān)的事物，如邊界或異常。

可以通過文本消息和警報(bào)等功能，提示操作人員檢查系統(tǒng)狀態(tài)。然而，讓操作人員保持警惕的最終辦法在于讓其從事有意義的任務(wù)，“而不是去后端”。雖然通過訓(xùn)練課程，可以提高操作人員監(jiān)督系統(tǒng)的能力，但將（有意義的）任務(wù)分配給人類操作員，仍然是使其保持認(rèn)知參與的關(guān)鍵。

第二個(gè)原因可以用人機(jī)交互中固有的挑戰(zhàn)來解釋，包括“自動化自滿癥”的挑戰(zhàn)，即隨著某些作業(yè)實(shí)現(xiàn)自動化，人的注意力轉(zhuǎn)移到其他任務(wù)上，或者因?qū)ο到y(tǒng)模糊或不準(zhǔn)確的期望，造成的注意力缺失。其中一些挑戰(zhàn)源于所謂的“自動化難題”。該理論認(rèn)為人類警惕性的喪失與系統(tǒng)增強(qiáng)的自動化和可靠性成正比：“系統(tǒng)的自動化程度越高、越可靠和越魯棒，監(jiān)督自動化系統(tǒng)的操作人員就越不可能意識到關(guān)鍵信息并能夠在需要時(shí)進(jìn)行手動控制”。

當(dāng)高度自動化和高度可靠的系統(tǒng)出現(xiàn)故障時(shí)，會給操作員帶來更加復(fù)雜的挑戰(zhàn)。因?yàn)楦叨茸詣踊瘯黾尤藗儗ο到y(tǒng)的依賴，同時(shí)也會使系統(tǒng)更難以手動恢復(fù)。這被描述為“伐木工人效應(yīng)”，它反映了高可靠性的好處和隨之而來的故障成本之間的權(quán)衡，類似于森林中的樹木：“它們越高，落得越遠(yuǎn)”。在自動化研究領(lǐng)域，作為造成人員技能退化的風(fēng)險(xiǎn)，這種情況人們已經(jīng)討論了二十多年，尤其是第一次故障之前長時(shí)間正常運(yùn)行的高性能自動化系統(tǒng)。在這種情況下，操作人員開始廣泛依賴系統(tǒng)，過度信任它，甚至變得自滿。“信任校準(zhǔn)”是指“一個(gè)人對自動化（系統(tǒng)）的信任與（系統(tǒng)）自動化能力之間的一致性”，可以表現(xiàn)為過度信任，反過來也可以表現(xiàn)為信任不足。

2.2. 接口設(shè)計(jì)與使用背景

接口設(shè)計(jì)對其可用性至關(guān)重要，因?yàn)樗翱梢灾苯佑绊懖僮鲉T完成任務(wù)的能力和愿望，以了解當(dāng)前情況，做出決策，以及監(jiān)督和向機(jī)器人系統(tǒng)提供高層級的命令”。例如，對偵察任務(wù)無人機(jī)控制的研究表明，操作人員希望“駕駛攝像機(jī)”，這意味著操作人員更希望能夠?qū)z像機(jī)定位在需要的位置以實(shí)現(xiàn)其任務(wù)目標(biāo)，而不是控制無人機(jī)及其系統(tǒng)。因此，在設(shè)計(jì)用戶接口時(shí)，取消了對無人機(jī)橫搖、俯仰和偏航的直接控制。

許多地方都有關(guān)于自主武器系統(tǒng)設(shè)計(jì)的一般原則。例如，美國國防部指令3000.09規(guī)定，“自主和半自主武器系統(tǒng)的人機(jī)接口應(yīng)：1.經(jīng)過訓(xùn)練的操作人員很容易理解；2.可根據(jù)反饋信息跟蹤系統(tǒng)狀態(tài)；3.為經(jīng)過訓(xùn)練的操作員清晰的操作程序以激活和停用系統(tǒng)功能”。

美國在致命性自主武器系統(tǒng)政府專家組會議上多次闡述了這項(xiàng)建議。2019年版政府專家組報(bào)告將“易于理解的人機(jī)接口和控制”與“嚴(yán)格測試和評估系統(tǒng)”和人員訓(xùn)練等措施一道列為降低風(fēng)險(xiǎn)可行途徑。

然而，關(guān)注于使接口“清晰”或“易于理解”，有可能會被誤解為“簡單”。這可能會導(dǎo)致人們將注意力轉(zhuǎn)向微觀人機(jī)工程，或顯示系統(tǒng)中的元素，如顏色、字體大小等，盡管這些元素很重要，但“不是工作的起點(diǎn)”。通常，顯示功能需要關(guān)注“任務(wù)相關(guān)信息”的控制，同時(shí)最小化“任務(wù)無關(guān)信息”。然而，在復(fù)雜系統(tǒng)中，感知并不局限于來自屏幕的數(shù)據(jù)。有一種觀點(diǎn)，認(rèn)為“通過適當(dāng)?shù)南到y(tǒng)和接口設(shè)計(jì)，可以把技術(shù)和戰(zhàn)術(shù)復(fù)雜性降低到可管理的水平”。這種觀點(diǎn)受到認(rèn)知系統(tǒng)工程專家的質(zhì)疑，他們認(rèn)為這種方法不會降低復(fù)雜性，而只是向用戶隱藏它。

這并不意味著解決之道在于顯示系統(tǒng)的復(fù)雜性，而是必須滿足系統(tǒng)接口設(shè)計(jì)的其他條件，才能有助于增強(qiáng)的人類的能力和實(shí)施控制。

與自主武器系統(tǒng)交互的一個(gè)基本要求是，在使用之前建立一個(gè)良好的系統(tǒng)心智模型（包括了解系統(tǒng)的自動化水平，它是否正在正常運(yùn)行以及是否在預(yù)期的參數(shù)下運(yùn)行），理解系統(tǒng)的行為范圍，以及系統(tǒng)可能隨時(shí)間發(fā)生的種種變化，這是基于機(jī)器學(xué)習(xí)的系統(tǒng)的一個(gè)關(guān)鍵方面。這些需求必須反映在接口設(shè)計(jì)和訓(xùn)練要求中。

本章概述了高度自動化和自主系統(tǒng)中的接口設(shè)計(jì)方法，從“以人為中心的設(shè)計(jì)”開始，然后是“以交互為中心”的方法。隨著關(guān)于人-機(jī)團(tuán)隊(duì)或人-AI團(tuán)隊(duì)的討論越來越多，接口設(shè)計(jì)變得更加復(fù)雜。

人-系統(tǒng)集成（HSI）源于20世紀(jì)80年代中期，處理系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)中的人因因素。它是一種“全系統(tǒng)”方法，著眼于跨系統(tǒng)集成，包括人、技術(shù)、運(yùn)行環(huán)境以及這些要素之間的接口。如本章所述，人工智能和機(jī)器學(xué)習(xí)的引入（以及對人-AI團(tuán)隊(duì)的日益關(guān)注），揭示了傳統(tǒng)或認(rèn)知系統(tǒng)工程方法的局限性，以及它們無法解決新系統(tǒng)需要如何適應(yīng)的問題。

3.1 以人為中心的設(shè)計(jì)

對接口設(shè)計(jì)人員的兩個(gè)一般性要求是：（1）了解各種任務(wù)和領(lǐng)域的機(jī)器人操作人員需要知道什么；（2）確定如何以一種綜合的方式呈現(xiàn)信息，以支持態(tài)勢感知和決策。

將操作人員需要知道的內(nèi)容集成到流程中，是以人為本的設(shè)計(jì)的基礎(chǔ)。該范式出現(xiàn)于20世紀(jì)80年代，旨在解決傳統(tǒng)的、以技術(shù)為中心的標(biāo)準(zhǔn)范式中的缺陷。在以技術(shù)中心的范式下，接口首先反映的是創(chuàng)建系統(tǒng)的工程師們認(rèn)為重要的內(nèi)容，或他們認(rèn)為相關(guān)的內(nèi)容。

相比之下，以人為中心的設(shè)計(jì)“聚焦于系統(tǒng)的使用，應(yīng)用人因因素、人機(jī)工程學(xué)和可用性方面的知識及技術(shù)，使交互式系統(tǒng)更具可用性”。以人為中心的設(shè)計(jì)，無論是以士兵為中心、以客戶為中心還是以用戶為中心，都尋求“圍繞人如何工作”優(yōu)化接口，而不是強(qiáng)迫人們改變工作方式以適應(yīng)系統(tǒng)。它將操作人員視為“與傳感器或底層代碼一樣的系統(tǒng)組件”，必須把操作人員的能力納入到設(shè)計(jì)中。

在實(shí)踐中，以人為中心的設(shè)計(jì)遵循一個(gè)迭代過程。該過程在接口開發(fā)之前就開始了，需要通過系統(tǒng)的“增量式開發(fā)和迭代式改進(jìn)”來整合設(shè)計(jì)和評估工作，基于輸入和反饋，理解用戶，并從一開始就集成他們的觀點(diǎn)。在此過程中，系統(tǒng)中可能會出現(xiàn)新的屬性，或者人們可能會以不同的方式使用系統(tǒng)。這將影響設(shè)計(jì)中的幾個(gè)選擇，包括操作員的認(rèn)知負(fù)荷量、他們對系統(tǒng)的依賴程度，以及何時(shí)使用或何時(shí)關(guān)閉某些功能。簡而言之，這是一個(gè)“基于證據(jù)的進(jìn)化式修補(bǔ)”過程。

隨著各種自主功能的增多，對以人為本設(shè)計(jì)的提出了更多需求，以支持操作人員理解系統(tǒng)的功能。除了高效呈現(xiàn)決策所需的信息外，人們還建議接口必須包括與自動化狀態(tài)相關(guān)的提示（包括各種模式和系統(tǒng)邊界條件），對模式轉(zhuǎn)換的支持（例如，對轉(zhuǎn)換到手動控制的必要支持）以及系統(tǒng)的透明度，以提供系統(tǒng)行為的可理解性和可預(yù)測性。

3.2 以交互為中心的方法

從21世紀(jì)10年代開始，新的智能系統(tǒng)設(shè)計(jì)方法開始關(guān)注人與機(jī)器之間的交互和相互依賴關(guān)系。

嚴(yán)格來說，交互始終是設(shè)計(jì)過程的一部分，只不過表現(xiàn)為不同的形態(tài)，“以人為本的設(shè)計(jì)”的基本原則并沒有被拋棄。然而，過去十年，這方面的研究更專注于人機(jī)交互的協(xié)作方面，而且現(xiàn)在的技術(shù)可以更快地適應(yīng)系統(tǒng)學(xué)習(xí)之需。最近興起的一種認(rèn)識更是佐證了這種演變，即構(gòu)建有效的自治系統(tǒng)依賴于一種成功的人-自主系統(tǒng)或人-AI團(tuán)隊(duì)協(xié)作方法，并且隨著機(jī)器能力的擴(kuò)展，人機(jī)交互能力也必須隨之?dāng)U展。

例如，人們采用一種名為“協(xié)同設(shè)計(jì)”的方法，評估人機(jī)協(xié)作對設(shè)計(jì)的影響，其中的人和系統(tǒng)同時(shí)參與完成任務(wù)，系統(tǒng)設(shè)計(jì)要能夠支持協(xié)調(diào)，協(xié)作和團(tuán)隊(duì)合作。這種設(shè)計(jì)方法將團(tuán)隊(duì)合作視為涉及雙方（人和AI系統(tǒng)）的過程，并以兩者交互中存在的相互依賴性為前提。

關(guān)于人-AI團(tuán)隊(duì)合作，人們還提出了“動態(tài)任務(wù)分配”模型，把風(fēng)險(xiǎn)最大，道德影響最最突出的任務(wù)分配給人類，而其他決策則分配給智能代理。這種方法需要把可解釋性作為人-智能代理協(xié)作和接口設(shè)計(jì)的一部分。

另一種稱為“自適應(yīng)引導(dǎo)”的方法基于一個(gè)類似的原則，即接口需要根據(jù)用戶的反饋進(jìn)行調(diào)整，并隨著時(shí)間的推移校準(zhǔn)（人的）認(rèn)知參與、信任和不斷變化的期望。在隨著時(shí)間推移不斷學(xué)習(xí)的系統(tǒng)中，這種方法闡釋了人-系統(tǒng)交互中“三個(gè)不斷變化的部分”：1）操作人員不斷變化的心智模型，2）實(shí)際情況也在變化，3）系統(tǒng)/人工智能模型本身也在變化。

這需要接口能夠同步和表征系統(tǒng)的學(xué)習(xí)及調(diào)整情況。為了實(shí)現(xiàn)有效的交互，還需要系統(tǒng)變得更像一個(gè)智能代理，即它能夠提示操作人員進(jìn)行干預(yù)，例如在某些情況下向他們表達(dá)“我需要輸入”或“我不知道”。為這種方法提供支持的“自適應(yīng)學(xué)習(xí)”技術(shù)，還需要系統(tǒng)的用戶模型能夠引導(dǎo)它檢測不一致或矛盾的信號，從而起到保護(hù)作用。例如，如果突然更換操作人員，系統(tǒng)可能會完全停止運(yùn)行。

其中一些原則被應(yīng)用到自動駕駛汽車行業(yè)。該行業(yè)中的接口設(shè)計(jì)越來越多地被視為一種“共同創(chuàng)造的過程”。這種過程渴望集成駕駛員的偏好或采用一些糾正措施，例如提示年輕的駕駛員提高注意力。在自動駕駛汽車行業(yè)中，人們認(rèn)為面向用戶的接口適應(yīng)性，對行業(yè)的未來以及取得人們對技術(shù)（特別是高層次的自動化技術(shù)）的更多信任非常重要。不過，隨著自動化程度的提高，也需要對駕駛員的數(shù)據(jù)進(jìn)行權(quán)衡，包括需要更多的生物特征數(shù)據(jù)，因?yàn)椤半S著你給予（車輛）更多的控制權(quán)并建立更多的信任，車輛也需要更多地了解你；現(xiàn)在，您作為操作人員，也需要受到監(jiān)督”。

在軍事領(lǐng)域，在接口設(shè)計(jì)中使用生物特征識別和神經(jīng)生理數(shù)據(jù)，盡管目前在很大程度上仍然是探索性的，但它并不是一個(gè)全新的想法。例如，在空中交通管制中進(jìn)行的模擬仿真就運(yùn)用了眼球運(yùn)動參數(shù)，以此了解面對不同的信息顯示（例如，雜亂的天氣信息顯示會使飛行員更難以提取相關(guān)數(shù)據(jù)）時(shí)，人們的認(rèn)知需求以及認(rèn)知工作量的波動。雖然這是用于測試和模擬仿真場景，但生物特別識別和神經(jīng)生理數(shù)據(jù)的使用，也可以集成到實(shí)時(shí)的、具有閉合反饋環(huán)路的分析系統(tǒng)中。這樣的環(huán)路對用戶的交互情況進(jìn)行評估，并更新用戶的狀態(tài)和當(dāng)前的認(rèn)知負(fù)荷信息。

技術(shù)上對更多“用戶狀態(tài)”數(shù)據(jù)的需求，凸顯了這樣一個(gè)事實(shí)，即隨著系統(tǒng)獲得更多的決策能力，人機(jī)協(xié)作依賴于來自雙方的信任。對于自主系統(tǒng)，信任是指嵌入在系統(tǒng)中的驗(yàn)證機(jī)制。例如，這種機(jī)制會確保操作人員的輸入是一致的，不會受到壓力的影響。

最后，還有一種設(shè)計(jì)方法，它包含了沉浸式接口，近年來在各個(gè)領(lǐng)域進(jìn)行了研究，包括自動駕駛汽車和無人駕駛飛行器。沉浸和沉浸式技術(shù)是指模擬的、動態(tài)的虛擬世界，包括豐富的三維空間和高保真運(yùn)動等元素。

虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）系統(tǒng)已被用于軍事訓(xùn)練和創(chuàng)建模擬仿真環(huán)境。而沉浸式接口將用于任務(wù)執(zhí)行，以及促進(jìn)協(xié)作行為（即人機(jī)協(xié)作）。

沉浸，作為一種設(shè)計(jì)選擇，被認(rèn)為是一種更自然的協(xié)作平臺，并成為一種實(shí)用工具，能夠以同樣的維度將物理世界及其視覺映像以可視化的方式呈現(xiàn)出來。之前有人提出，這種接口形成的遠(yuǎn)程距離起到了一種“道德緩沖器”的作用，它使操作人員遠(yuǎn)離其行為和造成的負(fù)面后果。對于一般性的遠(yuǎn)程操作的武器系統(tǒng)（如無人機(jī)），人們曾多次表達(dá)了這種擔(dān)憂。而沉浸也可能是一種減少認(rèn)知和道德距離的有用方法。

對自主武器系統(tǒng)操作人員的訓(xùn)練是一項(xiàng)重要的控制要素。致命性自主武器系統(tǒng)政府專家組對控制的闡述，涉及武器的整個(gè)生命周期，包括訓(xùn)練。

自主系統(tǒng)對操作人員提出了新型的訓(xùn)練要求，這取決于系統(tǒng)接口的特性和復(fù)雜性。

首先，操作人員需要更全面地了解系統(tǒng)的功能邊界以及人與機(jī)器之間的功能分配。此外，對于使用AI的自主系統(tǒng)，由于系統(tǒng)的不斷學(xué)習(xí)和演進(jìn)，人員訓(xùn)練變得更有挑戰(zhàn)性。與靜態(tài)系統(tǒng)相比，訓(xùn)練需求變得更加復(fù)雜。系統(tǒng)改變其內(nèi)部模型的方式通常是不透明的，甚至開發(fā)人員也難以理解，而且也很難提出一個(gè)操作人員可以訓(xùn)練的學(xué)習(xí)模型，因?yàn)橄到y(tǒng)在不同的環(huán)境中（例如，訓(xùn)練階段與使用環(huán)境下），其學(xué)習(xí)情況是不一樣的。

4.1 理解自主等級和功能分配

任務(wù)的分配，以及人們感覺的/認(rèn)為的自主等級，與自主系統(tǒng)的實(shí)際能力水平之間的關(guān)系，對于人們校準(zhǔn)對系統(tǒng)的信任和依賴至關(guān)重要。自動駕駛汽車領(lǐng)域的初步研究，揭示了在進(jìn)行自主等級或模式轉(zhuǎn)換，而操作人員沒有準(zhǔn)確評估系統(tǒng)的局限性時(shí)，所蘊(yùn)含的風(fēng)險(xiǎn)。例如，人們發(fā)現(xiàn)，在系統(tǒng)的部分自動化和高度自動化之間，存在一個(gè)特別脆弱的區(qū)域。在此區(qū)域，當(dāng)駕駛員認(rèn)為車輛比某個(gè)給定時(shí)刻的自動化程度更高時(shí)，就會導(dǎo)致碰撞。

軍隊(duì)中，也發(fā)生過由于對系統(tǒng)的實(shí)際能力認(rèn)識不足而產(chǎn)生的問題。例如，2003年的愛國者誤傷事件，美國陸軍愛國者導(dǎo)彈系統(tǒng)擊落了英國“龍卷風(fēng)”和美國海軍F/A-18戰(zhàn)機(jī)。當(dāng)時(shí)系統(tǒng)顯示的信息令人困惑，有時(shí)甚至是不正確的。當(dāng)時(shí)操作人員有10秒的時(shí)間來否決計(jì)算機(jī)的方案，并且缺乏“在高度復(fù)雜的系統(tǒng)中進(jìn)行例外管理”的訓(xùn)練。

在使用此類系統(tǒng)之后，美國陸軍研究實(shí)驗(yàn)室的一位工程心理學(xué)家總結(jié)說，“對于訓(xùn)練不足的人員來說，其手中的自動化系統(tǒng)實(shí)際上是一個(gè)完全自動化的系統(tǒng)”。訓(xùn)練不足可能導(dǎo)致不正確的期望，無法應(yīng)對系統(tǒng)故障，或無法替代系統(tǒng)的行動方案，使系統(tǒng)“因（操作人員的）忽視而完全自主”。僅靠接口設(shè)計(jì)無法彌補(bǔ)高效的訓(xùn)練。

針對自主系統(tǒng)的訓(xùn)練必須聚焦于培養(yǎng)操作人員的專業(yè)本領(lǐng)。這包括定量的和定性的兩個(gè)方面的要素：

· 定性要素：更加密切關(guān)注系統(tǒng)心智模型的開發(fā)，確保訓(xùn)練不僅僅是“習(xí)慣轉(zhuǎn)移”（操作人員在使用新的接口時(shí)經(jīng)常會碰到此類問題，因?yàn)樗麄兺鶗⒖家酝哪Ｐ停?。這包括理解各種變量，如自主功能的程度和范圍、從一個(gè)環(huán)境轉(zhuǎn)到另一個(gè)環(huán)境時(shí)系統(tǒng)的變化，系統(tǒng)最脆弱的地方或有哪些不確定性；

· 定量要素：包括訓(xùn)練持續(xù)時(shí)間的變化，或者更新訓(xùn)練的間隔等等。

然而，需要注意的是，針對人擔(dān)任系統(tǒng)監(jiān)督角色，相應(yīng)訓(xùn)練仍然面臨人因因素的限制。在擔(dān)任監(jiān)督角色時(shí)，持續(xù)不斷的保持警覺是一項(xiàng)非常困難的任務(wù)。保持注意力既是一個(gè)選拔問題，也是一個(gè)訓(xùn)練問題。現(xiàn)在人們都知道，一些人就是比其他人更善于持續(xù)不斷的保持警覺。然而，即使有適當(dāng)?shù)倪x拔過程和必須的訓(xùn)練，越是長時(shí)間從事重復(fù)性或監(jiān)督性任務(wù)，出錯(cuò)的機(jī)率就會越高。使操作人員保持認(rèn)知參與，會涉及到更復(fù)雜的因素，包括各種自主功能的增量式使用，通過這種方式，可以讓操作人員更好地理解系統(tǒng)，知道何時(shí)以及如何轉(zhuǎn)為手動控制，避免喪失責(zé)任感

4.2 人-AI團(tuán)隊(duì)協(xié)作訓(xùn)練

最后，隨著人和AI系統(tǒng)日益相互依賴，越來越多的研究結(jié)果表明，在開展訓(xùn)練時(shí)，必須考慮到人與AI的組隊(duì)和協(xié)作。

人們期望隨著武器系統(tǒng)自主能力的提高，人和AI系統(tǒng)能夠集成為一個(gè)（作戰(zhàn)）單元，協(xié)作完成高度復(fù)雜的任務(wù)。這方面的訓(xùn)練不能局限于知識轉(zhuǎn)讓，它將越來越需要（人和AI系統(tǒng)）一起訓(xùn)練。這意味著雙方將作為“同伴”進(jìn)行交互，各自發(fā)揮自己的本領(lǐng)和職權(quán)。在這種情況下，需要把人-AI訓(xùn)練的目標(biāo)需要聚焦于一起工作和相互學(xué)習(xí)上。

與人和人的組隊(duì)訓(xùn)練相比，人-AI組隊(duì)訓(xùn)練需要有兩個(gè)方面的重大改變：

· 認(rèn)識上的轉(zhuǎn)變。涉及偏向、信任和可驗(yàn)證性等問題?？沈?yàn)證性針對的是人對AI系統(tǒng)的期望和要求，這方面的問題有可能導(dǎo)致人對AI的負(fù)面偏見

· （工作）程序上的轉(zhuǎn)變。包括新的工作分配和團(tuán)隊(duì)訓(xùn)練方法，這需要針對實(shí)際和合成環(huán)境，設(shè)計(jì)適當(dāng)?shù)幕谀M仿真的訓(xùn)練。

這使得操作人員需要理解：1）自己扮演的角色；2）AI系統(tǒng)；3）如何與AI系統(tǒng)/隊(duì)友交互；4）如何與其他人類隊(duì)友交互。

這一領(lǐng)域的研究尚處于早期階段，但至關(guān)重要。

智能系統(tǒng)的“黑匣子”性質(zhì)，使其與最終用戶的交互更加復(fù)雜，并可能導(dǎo)致相應(yīng)的心智模型不準(zhǔn)確，結(jié)果是過于信任或過于不信任。近年來，人們越來越多地認(rèn)識到，AI的不透明性會損害人們對系統(tǒng)及其決策機(jī)制的信任。因此，人們正在努力使AI更加透明、更具可解釋性。

從理論上講，在使用自主武器系統(tǒng)時(shí)，嵌入在界面中的解釋系統(tǒng)可以降低其中一些風(fēng)險(xiǎn)，但是現(xiàn)有的可用方法面臨著許多挑戰(zhàn)（甚至是潛在的不足）。

可解釋的人工智能（XAI）是一個(gè)專注于理解和解釋人工智能系統(tǒng)（行為）的領(lǐng)域?？山忉屝圆煌谕该餍??？山忉屝砸允潞蠡仡^看的方式評估系統(tǒng)的過程，它研究的機(jī)器做過什么，并提供事后解釋。相比之下，透明性提供了對系統(tǒng)行為的實(shí)時(shí)理解。雖然在軍事行動中，透明性在支持實(shí)時(shí)決策方面更有價(jià)值，但可解釋性和透明性在構(gòu)建態(tài)勢感知方面都很重要。在時(shí)間允許的情況下，可解釋性可以改進(jìn)系統(tǒng)審核過程和心智模型，進(jìn)而影響未來的態(tài)勢感知。

5.1 XAI儀表盤及其局限性

大多數(shù)XAI方法都集中在通過界面和儀表盤等可視化技術(shù)，來呈現(xiàn)一部分AI過程。例如，解釋界面能夠以對話框和餅圖等圖形化形式展現(xiàn)概率，也可以是交互式界面，用戶可以從幾個(gè)算法中選擇最佳的算法。

可視化有助于培養(yǎng)人們對AI系統(tǒng)的信任，提升人的能動性。例如，研究表明，通過提供與系統(tǒng)不確定性相關(guān)的信息，可以提高系統(tǒng)性能，包括人在接管系統(tǒng)時(shí)的表現(xiàn)也會更佳。

雖然“XAI途徑”包括許多機(jī)器學(xué)習(xí)模型和可視化分析方法，但它們?nèi)匀槐憩F(xiàn)得異常復(fù)雜，往往只有機(jī)器學(xué)習(xí)方面的專家才能理解。XAI的其他局限性包括：

· 信任不僅僅是一個(gè)技術(shù)問題，它是一個(gè)動態(tài)變化的過程，可視化不能解決所有與信任相關(guān)的問題

· （對AI系統(tǒng)）的解釋，可能會使有缺陷的心智模型得到進(jìn)一步的強(qiáng)化；太多的細(xì)節(jié)可能會使人們茫然失措；或者包含太多的懸念；在可能需要進(jìn)一步驗(yàn)證的情況下誤導(dǎo)操作人員（從而導(dǎo)致過度信任）；不同的用戶可能會有不同的理解

· 在高強(qiáng)度的作戰(zhàn)行動中，一些解釋工具可能會增加人們的工作量，例如操作人員需要在有限的時(shí)間查看系統(tǒng)的解釋

5.2 XAI和自主武器系統(tǒng)

雖然透明度和可解釋性更高的系統(tǒng)應(yīng)該優(yōu)于“黑匣子”，但需要注意的是，可解釋性不是解決信任問題的靈丹妙藥，某些方法執(zhí)行的不好，結(jié)果可能會適得其反。就自主武器系統(tǒng)而言，需要我們進(jìn)一步研究哪些方法和何種信息能夠更好地提高系統(tǒng)的透明性。例如，為了增加操作人員對系統(tǒng)的信任，許多人機(jī)界面用百分比表示概率，例如，X是合法目標(biāo)的概率是87%。事實(shí)上，這種方法使操作人員更難以做出決策，并不會增強(qiáng)操作人員信心。87%的概率就足以讓操作人員繼續(xù)攻擊目標(biāo)嗎？剩下的13%是什么意思？此外，該信息是應(yīng)該表示為“87%的確定性”，還是表示為“13%的不確定性”？

即便是對于完全透明和可解釋的AI,也存其他困境，可能造成出現(xiàn)錯(cuò)誤時(shí)，其責(zé)任完全落在操作人員身上。由于無法讓AI系統(tǒng)承擔(dān)責(zé)任，這種情況有可能給操作人員帶來過分的問責(zé)。

XAI作為一種有發(fā)展前景的方法，需要精心設(shè)計(jì)并集成到系統(tǒng)中，有效促進(jìn)人機(jī)交互，增強(qiáng)人對系統(tǒng)的信任和控制。

自主武器系統(tǒng)中的人機(jī)接口對于實(shí)施人工控制非常重要，但在設(shè)計(jì)和使用方面仍然存在重大挑戰(zhàn)和需要考慮的問題。

本報(bào)告以自主性和人機(jī)交互為背景，闡述了人機(jī)接口幾個(gè)方面的問題。過去十年中，自動駕駛汽車行業(yè)在可控性方面的研究取得了顯著進(jìn)展。本報(bào)告也借鑒了該領(lǐng)域的一些經(jīng)驗(yàn)教訓(xùn)， 

一般性結(jié)論：

· 人機(jī)接口作為自主武器系統(tǒng)的子系統(tǒng)，對它的研究揭示了人類控制的復(fù)雜性——它是一種通過接口設(shè)計(jì)而嵌入、通過訓(xùn)練而培養(yǎng)、通過特定技術(shù)特性（例如XAI）而增強(qiáng)或（或破壞）的能力。

· 在武器系統(tǒng)中引入自主功能和人工智能，特別是機(jī)器學(xué)習(xí)，擴(kuò)展了人機(jī)交互的選項(xiàng)和模式；它使人機(jī)接口的設(shè)計(jì)和開發(fā)變得非常復(fù)雜，這進(jìn)而需要對操作人員進(jìn)行新的培訓(xùn)。

接口設(shè)計(jì)：

· 自20世紀(jì)50年代以來，接口設(shè)計(jì)方法從以技術(shù)為中心，到以用戶/人為中心，再到以交互/人-AI組隊(duì)為中心，反映了自主性和自主功能的發(fā)展。

· 致命性自主武器系統(tǒng)政府專家組必須從政策的角度考慮這些范式的意義，因?yàn)樗鼈兂搅思夹g(shù)升級，反映了人機(jī)交互的深層次變化，對實(shí)施人類控制有直接影響。

訓(xùn)練：

· 對操作人員的進(jìn)行訓(xùn)練，是實(shí)施人類控制的一項(xiàng)重要內(nèi)容。自主武器系統(tǒng)的自主化以及接口的復(fù)雜化，給人員訓(xùn)練帶來了新的挑戰(zhàn)。

· 實(shí)施訓(xùn)練需要更清晰地理解自主武器系統(tǒng)的局限性、功能分配和系統(tǒng)故障，并且必須解決常見的行為方面的因素（例如自滿），同時(shí)保持對責(zé)任和問責(zé)的清晰理解。

可解釋的AI：

· 雖然XAI號稱可以通過引入更多的可理解性和可預(yù)測性，來增強(qiáng)人們對技術(shù)的信任，但對于自主系統(tǒng)固有的透明性和可解釋性問題，XAI所起的作用依然有限。今后聯(lián)合國裁軍研究所（UNIDIR）將更詳細(xì)地研究這個(gè)問題。

· 對于人工智能驅(qū)動的系統(tǒng)，必須努力實(shí)現(xiàn)更高的可解釋性和透明性，同時(shí)適當(dāng)考慮不同的作戰(zhàn)類型、環(huán)境和用戶等方面的軍事需求。這需要深入研究接口設(shè)計(jì)，以最好的方式表征透明度方面的信息和系統(tǒng)的脆弱性，使人們能夠校準(zhǔn)期望并增強(qiáng)技術(shù)的信任。

本報(bào)告認(rèn)為致命性自主武器系統(tǒng)政府專家組當(dāng)前和未來工作應(yīng)當(dāng)著眼以下幾個(gè)方面：

深入細(xì)致地討論自主化背景下的人機(jī)交互以及接口在人類控制中所扮演的角色等問題。這應(yīng)當(dāng)包括智能系統(tǒng)背景下接口設(shè)計(jì)和人員訓(xùn)練的相互聯(lián)系、AI系統(tǒng)的可解釋性問題以及對技術(shù)的信任問題。

更清晰地闡述在人類控制方面的期望和目標(biāo)，以指引未來AI系統(tǒng)的接口開發(fā)工作。政府專家組的闡述有助于向技術(shù)界界定人類控制方面的問題，但還需要更進(jìn)一步，以確保更明確地界定人類控制的含義，契合各類武器系統(tǒng)和使用環(huán)境。

討論人工-AI團(tuán)隊(duì)協(xié)作對人類控制自主武器系統(tǒng)的影響。“團(tuán)隊(duì)協(xié)作”并不意味著AI系統(tǒng)與人類處于平等地位，我們堅(jiān)持認(rèn)為人應(yīng)當(dāng)處于主導(dǎo)地位。不過，針對人類控制的含義，它確實(shí)引發(fā)了新的問題。技術(shù)專家的參與對于探索這一范式的影響和挑戰(zhàn)至關(guān)重要。