电竞比分网-中国电竞赛事及体育赛事平台

分享

國(guó)家自然科學(xué)基金要用AI評(píng)審

 2016xing 2019-05-17

近日,2019年度國(guó)家自然科學(xué)基金已正式進(jìn)入評(píng)審階段,每年的這個(gè)時(shí)候,都有項(xiàng)目申請(qǐng)人在通過各種途徑打探項(xiàng)目評(píng)審信息,“撒網(wǎng)”式“打招呼”希望能通過各種關(guān)系幫助自己的申請(qǐng)書得到特殊關(guān)照。

針對(duì)這一現(xiàn)象,每年中國(guó)國(guó)家自然科學(xué)基金委都采取措施規(guī)避這一不公平的操作,今年,甚至提出用人工智能(AI)選擇評(píng)審專家,以更好保障評(píng)審過程中的公平公正。

5月14日,《自然》雜志以《人工智能正在選擇中國(guó)的基金評(píng)審人》為題,介紹了中國(guó)最大的基礎(chǔ)科學(xué)資助機(jī)構(gòu)——國(guó)家自然科學(xué)基金委員會(huì)正在利用人工智能工具減少尋找評(píng)審人所需的時(shí)間。

人工智能正在選擇中國(guó)的基金評(píng)審人

中國(guó)最大的基礎(chǔ)科學(xué)資助機(jī)構(gòu)正在試點(diǎn)一種人工智能(AI)工具。該工具可選擇研究人員來評(píng)審基金申請(qǐng)書,從而使這一過程更加高效、快捷、公平。一些研究人員表示,國(guó)家自然科學(xué)基金委員會(huì)的方法是世界領(lǐng)先的,但其他人對(duì)AI是否能改善這一過程表示懷疑。

選擇研究人員對(duì)項(xiàng)目申請(qǐng)書或出版物進(jìn)行同行評(píng)審,既費(fèi)時(shí),又容易產(chǎn)生偏見。一些學(xué)術(shù)出版商正在嘗試?yán)肁I工具選擇審稿人,并執(zhí)行其他任務(wù)。同時(shí),一些資助機(jī)構(gòu),包括北美和歐洲的一些機(jī)構(gòu),已經(jīng)試用簡(jiǎn)單的AI工具來識(shí)別潛在的項(xiàng)目評(píng)審人。其中一些系統(tǒng)將基金申請(qǐng)書中的關(guān)鍵詞與其他科學(xué)家出版物中的關(guān)鍵詞相匹配。

基金委正在建立一個(gè)更加復(fù)雜的系統(tǒng)。該系統(tǒng)將抓取在線科學(xué)文獻(xiàn)數(shù)據(jù)庫(kù)和科學(xué)家個(gè)人網(wǎng)頁,利用自然語言處理來收集潛在評(píng)審人的出版物或研究項(xiàng)目的詳細(xì)信息?;鹞魅卫铎o海表示,該系統(tǒng)將利用文本語義分析來比較基金申請(qǐng)書和這些信息,并確定最匹配的評(píng)審人。

節(jié)省時(shí)間

上個(gè)月在杭州召開的學(xué)術(shù)交流會(huì)議上,基金委前主任楊衛(wèi)展示了試點(diǎn)數(shù)據(jù)。該工具的試用版本從去年評(píng)審項(xiàng)目的近4.4萬個(gè)專家組中各選出至少一名成員,其中每個(gè)專家組由3~7人組成。楊衛(wèi)介紹說,該系統(tǒng)已經(jīng)減少了行政人員尋找評(píng)審人的時(shí)間,而今年也將采用類似方法選擇評(píng)審人。

歐洲最大的基礎(chǔ)研究機(jī)構(gòu)——法國(guó)國(guó)家科學(xué)研究中心(CNRS)國(guó)際合作部主任Patrick Nédellec表示,基金委已成為改革基金評(píng)審流程的全球領(lǐng)導(dǎo)者。隨著基金申請(qǐng)數(shù)量的不斷增長(zhǎng),基金委正被迫進(jìn)行創(chuàng)新。在去年9月Nédellec參加的一次會(huì)議上,李靜海討論了基金委的改革計(jì)劃。“由于壓力如此之大,中國(guó)別無選擇,只能找到最好的辦法。”

過去的5年里,基金委收到的基金申請(qǐng)數(shù)量以每年約10%的速度增長(zhǎng)。2018年,該機(jī)構(gòu)評(píng)審了22.5萬份基金申請(qǐng),幾乎是美國(guó)國(guó)家科學(xué)基金會(huì)收到的6倍。李靜海表示,基金委正在努力處理基金申請(qǐng)并尋找合適的評(píng)審人?!疤魬?zhàn)在于沒有足夠的人手?!彼硎?,“AI將解決這個(gè)問題?!?/p>

減少偏見

李靜海還希望,該工具能減少評(píng)審人選擇中的偏見。他說,在中國(guó),科學(xué)家會(huì)嘗試為他們的項(xiàng)目找關(guān)系?!盎鹪u(píng)審的一個(gè)問題是人們會(huì)動(dòng)用關(guān)系,但人工智能不會(huì)被收買。”在一些國(guó)家,這同樣是個(gè)問題。基金申請(qǐng)者被要求提供能評(píng)審其項(xiàng)目的專家。例如,瑞士國(guó)家科學(xué)基金會(huì)發(fā)現(xiàn),由申請(qǐng)者推薦的評(píng)審人比由基金會(huì)選擇的評(píng)審人更有可能支持某個(gè)項(xiàng)目。

雖然基金委的試點(diǎn)AI系統(tǒng)只在中文網(wǎng)站上運(yùn)行,但李靜海希望它將來能抓取英文網(wǎng)站。去年9月也聽取了李靜海演講的維也納理工大學(xué)科學(xué)政策顧問Manfred Horvat表示:“基金委的改革計(jì)劃雄心勃勃,具有前瞻性和綜合性。”

其他國(guó)家也在效仿中國(guó)。挪威研究委員會(huì)顧問Thomas Hansteen說,上個(gè)月,該委員會(huì)開始使用自然語言處理技術(shù),將約3000份研究計(jì)劃書分組,并將它們與最佳評(píng)審專家組進(jìn)行匹配。

懷疑者的聲音

不過,并非所有人都認(rèn)為AI應(yīng)被用于評(píng)審過程。位于英國(guó)劍橋的研究機(jī)構(gòu)——“蘭德歐洲”科學(xué)政策專家Susan Guthrie表示,加拿大衛(wèi)生研究院在使用一種用于選擇評(píng)審人的算法時(shí)遇到了重大挑戰(zhàn)。2016年,該機(jī)構(gòu)聘請(qǐng)“蘭德歐洲”對(duì)關(guān)于基金同行評(píng)審的研究進(jìn)行了薈萃分析。

部分基于該報(bào)告,加拿大衛(wèi)生研究院認(rèn)為,其使用的算法有時(shí)會(huì)選擇存在利益沖突或在其他方面不適合以及沒有資格評(píng)估申請(qǐng)書的評(píng)審人。

“雖然基于算法的匹配聽起來很有吸引力,但在AI發(fā)展的現(xiàn)有階段,它可能實(shí)現(xiàn)的目標(biāo)是有限的?!豹?dú)立專家小組總結(jié)說,“評(píng)審人的選擇必須以科學(xué)的人類判斷為主。”

位于美國(guó)威斯康辛州麥迪遜市的“教育分析”公司政策研究員Elizabeth Pier認(rèn)為,AI無法消除選擇偏見。她擔(dān)心,AI系統(tǒng)最終會(huì)復(fù)制人類判斷中根深蒂固的偏見,而不是避免它們。

她建議基金委應(yīng)該做一項(xiàng)研究,將AI選擇的評(píng)審人與人工選擇的評(píng)審人進(jìn)行比較。

李靜海表示,一旦系統(tǒng)建立并運(yùn)行起來,基金委可能會(huì)考慮這一點(diǎn)。

針對(duì)評(píng)審人的信用體系

李靜海計(jì)劃在未來5年引入其他工具,使資助系統(tǒng)更加公平。其中包括建立一個(gè)信用體系,以獎(jiǎng)勵(lì)作出高質(zhì)量、公平和及時(shí)評(píng)審的科研人員。他介紹說,該信用體系的理念是鼓勵(lì)評(píng)審人認(rèn)真對(duì)待評(píng)審工作,并且變得更加專業(yè)。

斯坦福大學(xué)統(tǒng)計(jì)學(xué)家John Ioannidis對(duì)基金委在利用客觀的、數(shù)據(jù)驅(qū)動(dòng)的工具來選擇評(píng)審人方面作出的努力表示贊賞。但他認(rèn)為,很難評(píng)估評(píng)審人是否做出了正確的決定,以及是否值得稱贊。Ioannidis說,一個(gè)想法可能需要幾十年的時(shí)間才能被確認(rèn)是“偉大的還是無用的”。

李靜海已經(jīng)準(zhǔn)備好迎接挑戰(zhàn)?!斑@項(xiàng)任務(wù)不容易完成,需要在長(zhǎng)期的學(xué)習(xí)和測(cè)試過程中不斷改進(jìn)。”他說。

圖文

圖文來源:科學(xué)網(wǎng)

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多