|
顯微鏡有著悠久的歷史，1590年由荷蘭的詹森父子所首創(chuàng)，是人類最偉大的發(fā)明之一，是人類進入原子時代的標志。顯微鏡作為科研和醫(yī)療領域重要的分析儀器，隨著科學進步，對顯微鏡性能要求提高。而人工智能（AI）的引入，可幫助顯微鏡看的更清晰，更快的處理更多的數據，更實時、精確、自動化等。近年來，有很多企業(yè)、科研機構和高校投入大量精力，致力于AI應用于顯微鏡研究。當前，顯微鏡智能化技術發(fā)展迅速。本文將從顯微鏡基本概述，AI應用于顯微鏡研究進展，智能顯微鏡研究企業(yè)及機構，未來機遇與挑戰(zhàn)等幾個方面進行綜述。顯微鏡泛指將微小不可見或難見物品之影像放大，而能被肉眼或其他成像儀器觀察的工具。日常用語中之顯微鏡多指光學顯微鏡，放大倍率、清晰度（聚焦）、分辨率為顯微鏡重要因素。顯微鏡的類型有許多。最常見的是光學顯微鏡、電子顯微鏡、掃描探針顯微鏡等。光學顯微鏡：一種利用光學透鏡產生影像放大效應的顯微鏡，分辨率大約為一微米，可以看到細胞大小的物品。主要有熒光顯微鏡、偏光顯微鏡等、相襯顯微鏡等。2014年10月8日，諾貝爾化學獎頒給了艾Eric Betzig，William Moerner和Stefan Hell，獎勵其發(fā)展超分辨熒光顯微鏡，帶領光學顯微鏡進入納米級尺度中。 
電子顯微鏡：使用電子來展示物件的內部或表面的顯微鏡，可觀察到單一原子。主要包括透射電子顯微鏡（TEM）、掃描電子顯微鏡（SEM）、場發(fā)射掃描電子顯微鏡、掃描透射電子顯微鏡等類型。1986年，恩斯特·魯斯卡因研制第一臺透視電子顯微鏡獲得諾貝爾物理學獎。2017年，雅克·杜博歇、約阿希姆·弗蘭克、理查德·亨德森因研制用于溶液內生物分子的高分辨率結構測定的低溫電子顯微鏡獲得諾貝爾化學獎。 掃描探針顯微鏡（SPM）：是機械式地用探針在樣本上掃描移動以探測樣本影像的顯微鏡，其分辨率主要取決于探針的大?。ㄍǔＴ诩{米的范圍）。主要類型有：掃描隧道顯微鏡(STM)、 原子力顯微鏡（AFM)等。 光誘導顯微鏡（PiFM） 是一種相對較新的掃描探針顯微鏡技術。將 AFM 與紅外激光相結合，以誘導偶極子進行化學成像。具有高分辨率化學圖像（空間分辨率<10 nm）和高分辨率光譜（分辨率<1cm-1）。通過AFM檢測這種誘導力，不僅可以觀察AFM圖像，還可以在納米級高精度、高分辨率地觀察化學成像。顯微鏡具有廣泛的用途。一般應用于生物、醫(yī)藥、微觀粒子等觀測。具體到：物質成分分析；分子、中子、原子等分析；細胞、基因、細菌、病毒等分析；電子器件檢測等等。多少年來，人們?yōu)樘岣唢@微鏡的分辨能力和清晰度等付出了艱辛的勞動。隨著計算機技術和工具的不斷進步，相關理論和方法不斷改進，加上原材料性能的提高，工藝和檢測手段的不斷完善，觀察方法的創(chuàng)新，使顯微鏡的成像質量提高，處理數據速度加快，更加自動化、智能化。圖示：智能顯微鏡與傳統(tǒng)顯微鏡性能對比。（來源：騰訊 AI Lab） 噪聲是圖像中非真實信號的總和，照明度越弱，圖像噪聲越大。這可以解釋為什么夜間用手機拍照會有顆粒感，更不用說用于保護脆弱的樣品的微光顯微照片。生物學家站在計算機的肩膀上，對圖像不斷校驗并選擇正確的降噪方法。為了將圖像噪聲最小化，研究人員長期以來一直采用降噪算法，最早是一種由計算機科學家開發(fā)的數學過程，然后進入了深度學習時代， 通過將圖像傳遞給計算機并允許它們制定出最佳的降噪方案，研究人員看到了令人驚嘆的結果。瑞典烏普薩拉大學國家SciLifeLab生物圖像信息學設施負責人Carolina W?hlby使用一種稱為Top-Hat的算法來清除熒光顯微照片和其他圖像中的背景噪聲。Top-Hat執(zhí)行一種數學轉換，以從圖像中去除過亮或過暗的元素。研究人員表示：在許多情況下，類似的方法的確非常有效。由Jug及合伙人一起開發(fā)的CSBDeep是一個在線的機械學習工具箱，可以與Fiji圖像處理環(huán)境或Python編程語言一起使用。同樣，Ouyang的網絡應用軟件ImJoy為多種機器學習方法的測試提供了一站式服務。具體內容可參考ScienceAI之前的報道《機器學習消除噪聲，讓顯微鏡圖像更加清晰》。圖示：使用 Noise2Void 軟件去噪之前（左）和去噪之后（右）的秀麗隱桿線蟲胚胎的顯微鏡圖像。（來源：C. Broaddus 等人/Proc. IEEE） 相關報道：https://mp.weixin.qq.com/s/vAmQ5uLZOziUydFbJg7PsQ威爾康奈爾醫(yī)學院研究團隊開發(fā)了一種計算技術，通過將定位圖像重建算法應用于原子力顯微鏡（AFM） 和傳統(tǒng) AFM 數據中的峰值位置，將分辨率提高到超出尖端半徑設置的限制，并在天然和動態(tài)條件下解析蛋白質表面上的單個氨基酸殘基。大大提高了AFM 的分辨率。該方法揭示了正常生理條件下蛋白質和其他生物結構的原子級細節(jié)，為細胞生物學、病毒學和其他微觀過程打開了一個新窗口。研究成果于6月16日發(fā)表在《Nature》雜志上。圖示：定位 AFM 和 X 射線結構。（來源：威爾康奈爾醫(yī)學院） 論文鏈接：https://www./articles/s41586-021-03551-x澳大利亞昆士蘭大學和德國的一組研究人員利用量子糾纏技術建造了一臺「量子顯微鏡」。這種新的顯微鏡能利用量子糾纏來安全地顯示生物樣本，揭示出了原本不可能看到的生物結構。利用量子糾纏，量子顯微鏡可以在不破壞細胞的情況下，將信噪比（或者說清晰度）提高35%，使科學家能夠看到原本看不見的微小生物結構。相關領域的研究人員認為，這一突破標志著顯微鏡領域的一次重大飛躍，甚至可能啟動下一場顯微鏡的革命。研究成果于6月9日發(fā)表在《Nature》雜志上。圖示：使用量子顯微鏡（左）和傳統(tǒng)顯微鏡（右）對酵母細胞的分子成像。（來源：University of Queensland） 論文鏈接：https://www./articles/s41586-021-03528-w為了創(chuàng)建大腦等組織的高分辨率 3D 圖像，研究人員經常使用雙光子顯微鏡。然而，在大腦深處掃描可能很困難，因為光線會隨著深入組織而從組織中散射出來，從而使圖像變得模糊。雙光子成像也很耗時，因為它通常需要一次掃描單個像素。MIT和哈佛大學的研究人員現(xiàn)在開發(fā)了一種雙光子成像的改進版本，可以在組織內更深地成像，并且比以前成像速度更快，這種成像可以讓科學家更快地獲得大腦內血管和單個神經元等結構的高分辨率圖像。相關報道：https://www./pub_releases/2021-07/miot-mtm070621.php使用常規(guī)顯微鏡時，景深（DOF）和空間分辨率之間存在固定的權衡：所需的空間分辨率越高，DOF越窄。研究人員開發(fā)了一種稱為DeepDOF的計算顯微鏡，該顯微鏡在保持分辨率的情況下，其DOF可以達到傳統(tǒng)顯微鏡的五倍以上，從而大大減少了圖像處理所需的時間。DeepDOF使用了放置在顯微鏡孔徑處的優(yōu)化相位掩模和基于深度學習的算法，該算法將傳感器數據轉換為高分辨率的大DOF圖像。圖示：DeepDOF（來源：https://news.）數字全息成像是生物醫(yī)學成像中常用的顯微鏡技術，用于揭示樣本的豐富光學信息。常見的圖像傳感器只對入射光的強度做出響應。加州大學洛杉磯分校的研究團隊開發(fā)出一種新的全息相位檢索技術，可以快速重建樣品的微觀圖像，與現(xiàn)有方法相比，可加速50倍。研究結果首次證明了使用循環(huán)神經網絡（RNN）進行全息成像和相位恢復，所提出的框架將廣泛適用于各種相干成像模式。具體內容可參考ScienceAI之前的報道《RNN 用于生物醫(yī)學全息成像，速度加快50倍》。圖示：用于RH-M和RH-MD培訓的GAN框架。（來源：加州大學洛杉磯分校） 相關報道：https://mp.weixin.qq.com/s/9nV2XAHAunU6yEt72GIXEg德克薩斯大學西南醫(yī)學中心的科學家與英格蘭和澳大利亞的同事合作，構建并測試了一種新型光學設備，可將常用顯微鏡轉換為多角度投影成像系統(tǒng)。在不移動樣品的情況下實時提供多個方向的視圖，并且工作速度比當前技術快 100 倍。該研究于6月28日發(fā)表在《Nature Methods》雜志上。論文鏈接：https://www./articles/s41592-021-01175-7盡管 3D 成像取得了進步，但對大型 3D 組織中的所有細胞進行剖面分析仍然具有挑戰(zhàn)性，包括存在的許多細胞類型的形態(tài)和組織。荷蘭Máxima公主小兒腫瘤中心的科學家研究了一種新的成像技術和計算管道來研究 3D 組織中的數百萬個細胞，揭示每個細胞的數百個特征。成像管道將可以同時標記的顏色數量從4種增加到8種，處理大量數據的時間，從多天縮短到大約兩個小時。研究成果于6月3日發(fā)表《Nature Biotechnology》雜志上。論文鏈接：https://www./articles/s41587-021-00926-3非線性光學顯微鏡已實現(xiàn)毫米級的體內深層組織成像。一個關鍵的挑戰(zhàn)是其有限的吞吐量，厚混濁樣品中發(fā)射光子的散射嚴重降低了相機的圖像質量?；诖耍琈IT研究人員引入了一種新技術，稱為激發(fā)模式去散射或「DEEP」，利用計算成像獲得高分辨率的圖像，其速度比其他使用復雜算法和機器學習的先進技術快100到1000倍。該方法可以把一個需要幾個月的過程變成幾天。研究成果于7月7日發(fā)表在《Science Advances》雜志上。圖示：DEEP-TFM 的實驗裝置和成像策略。（來源：論文） 論文鏈接：https://advances./content/7/28/eaay5496 相關報道：https://www./pub_releases/2021-07/hu-nit070221.php 目前，顯微成像技術發(fā)展快速，用于觀察各種細胞和組織中的蛋白質。由于復雜擁擠的細胞環(huán)境以及蛋白質的種類和大小各異，每天都會生成大量蛋白質圖像，無法手動分類。因此，設計一種自動且準確的方法來正確求解和分析具有混合模式的蛋白質圖像至關重要。中國科學院計算技術研究所、中國科學院大學和清華大學的研究小組提出了一種新穎的定制架構，使用深度卷積神經網絡對高通量顯微鏡圖像進行多標記蛋白質識別。該研究成果于6月15日發(fā)表在《BMC Bioinformatics》上。圖示：具有 4 通道輸入和 ACP 層的新型網絡架構。（來源：www.ncbi.nlm.）論文鏈接：https://www.ncbi.nlm./pmc/articles/PMC8207617/跨尺度成像揭示了生物體、組織和細胞中的疾病機制。然而，特定的感染表型，如病毒誘導的細胞裂解，仍然難以研究。蘇黎世大學的研究人員使用活細胞中的熒光圖像訓練了一個人工神經網絡，自動檢測感染的細胞。不僅可以可靠地識別受病毒感染的細胞，還可以在早期識別嚴重的急性感染。該研究成果于6月25日發(fā)表在《Cell Press: iScience》上。圖示：深度學習檢測病毒感染的細胞并預測急性、嚴重感染。（來源：蘇黎世大學）該分析方法基于將活細胞中的熒光顯微鏡與深度學習過程相結合。受感染細胞內形成的皰疹和腺病毒會改變細胞核的組織，這些變化可以在顯微鏡下觀察到。該小組訓練了一種深度學習算法——一種人工神經網絡——來自動檢測這些變化。該網絡接受了大量顯微鏡圖像的訓練，通過這些圖像，它可以學習識別感染或未感染細胞的特征模式。訓練和驗證完成后，神經網絡會自動檢測受病毒感染的細胞。論文鏈接：https://www./iscience/fulltext/S2589-0042(21)00511-3?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS2589004221005113%3Fshowall%3Dtrue材料的特性可能會由于其原子之間的間隔發(fā)生微小變化而發(fā)生劇烈變化，這在材料科學的術語中通常稱為「局部應變」。高角度環(huán)形暗場成像（HAADF）——一種STEM中的方法，用于局部應變的精確測量。然而，在實踐中，由于設備中的機械和電氣噪聲，HAADF 圖像經常失真，將最小的可測量局部應變限制在略高于 1% 的范圍內。日本高等科學技術研究所(JAIST) 的研究團隊將 HAADF 成像與高斯過程回歸 (GPR) 相結合，這是一種常用于機器學習以及經濟學和地質學等領域的數據處理技術。提高了 HAADF 的精度成像，所提出的方法能夠以 0.2% 的精度測量應變。該研究成果于7月7日發(fā)表在 《ACS Nano》 上。圖示：使用高斯過程回歸 (GPR) (IMAGE) 精確測量原子位移和應變。（來源：JAIST）相關報道：https://www./pub_releases/2021-07/jaio-dst071321.php論文鏈接：https://pubs./doi/10.1021/acsnano.1c03413材料創(chuàng)新基礎設施的三大平臺：計算工具平臺（Computational tools）、實驗工具平臺(Experimental tools)和數字化數據平臺(Digital tools)，而顯微鏡作為重要的實驗工具之一，隨著AI發(fā)展，無論是專攻于顯微鏡研發(fā)的企業(yè)，還是AI科技公司，國內外關注AI顯微鏡研發(fā)的企業(yè)數不勝數。騰訊 AI Lab：2020年4月，騰訊 AI Lab 宣布中國首款智能顯微鏡獲藥監(jiān)局批準進入臨床應用。騰訊 AI Lab 聯(lián)合業(yè)界領先的舜宇光學科技、國內最大的第三方醫(yī)學檢驗機構金域醫(yī)學宣布三方研發(fā)的智能顯微鏡已獲得 NMPA 注冊證，成為國內首個獲準進入臨床應用的智能顯微鏡產品。智能顯微鏡目前使用了離線運算版本，騰訊 AI Lab 還研發(fā)了一套基于深度學習方法的升級版算法，具有更高精準度和升級潛力。圖示：免疫組織化學（IHC）訓練學習過程的流程示意圖。（來源：騰訊科技）愛威科技股份有限公司作為自動顯微鏡檢驗先行者，二十年來一直專注于「基于人工智能和機器視覺技術的醫(yī)學顯微鏡形態(tài)學檢驗自動化」技術的研究和相關產品開發(fā)，建立了全自動顯微鏡細胞形態(tài)學檢測技術平臺。2015年成立的聚束科技自主研發(fā)生產的高通量、自動化掃描電子顯微鏡技術，與人工智能技術結合為「AI顯微鏡」，實現(xiàn)了超高速高分辨跨尺度大規(guī)模SEM成像以及海量SEM圖像快速測量、統(tǒng)計、分析，自動化生成數據分析報告的全套解決方案。聚束科技與人工智能平臺公司商湯科技合作，結合人工智能和深度學習技術，定制化開發(fā)符合客戶材料分析需求的AI算子，以替代對國外廠商的技術依賴。尼康（Nikon）：2020年9月，尼康推出了Clarify.ai——一種AI算法，用于從寬視野顯微鏡圖像中去除模糊。Clarify.ai 利用深度學習， Clarify.ai 已經過預訓練，可以識別離焦平面發(fā)出的熒光信號，并且可以通過計算從圖像中去除這種霧霾成分，從而顯著提高信噪比 (S/N)。今年5月份，Nikon 推出 AX 和 AX R 共聚焦顯微鏡系統(tǒng)，具有 8K 分辨率、世界上最大的 25 mm視野，以及一套先進的基于人工智能 (AI) 的工具，用于加速基于顯微鏡的研究。蔡司（ZEISS）的研究團隊使用一種稱為「解決方案實驗室（Solutions Lab）」的流程來構建工作流，該工作流使用AI自動檢測科學家可能希望調查的樣本區(qū)域。
徠卡（Leica）的研究團隊一直在建立一個經過預訓練的深度學習模型庫以及Aivia軟件，該軟件可以使任何人利用AI顯微鏡技術。Mindpeak致力于創(chuàng)建基于人工智能的軟件，為臨床病理學中的圖像分析帶來精確性和便利性。學術和商業(yè)領域的研究人員普遍認為，將AI應用于科學生活的最大障礙是對未知的恐懼。然而，AI日益增長的影響力是不可否認的。無論是在觀察細胞還是在巖石，不論科學家對AI了解如何。將AI引入顯微鏡的日常實踐的關鍵是確保任何科學家都可以使用該技術。為計算顯微鏡提供動力的深度學習算法需要大型數據集來訓練，但此類數據集并不那么容易獲得。且必須評估這些算法的性能，并將其與當前的分析標準進行比較。這是整個學術界的共同挑戰(zhàn)。未來，在AI的助力下，顯微鏡將看的更清晰、處理數據更快、更加自動化、精確。讓科研變得更輕松。以上可能只是目前研究的一部分。期待更多新的AI顯微鏡研究，未來可期.....
|
