譯者 | Linstancy、Major編輯 | 琥珀出品 | AI科技大本營（公眾號ID：rgznai100）

近日，由天文學家公布的人類首張黑洞照片引起了轟動，在這張 “并不清晰” 的照片背后卻是 Katie Bouman 團隊早已在三年前就提出的新算法 CHIRP——使用 Patch priors 進行連續(xù)高分辨率圖像重建獲得的。當時，Bouman 還是 MIT 電子工程和計算機科學專業(yè)的一名 26 歲的研究生。2016 年 6 月，Bouman 等人在當年的 CVPR 會議上收錄的 “Computational Imaging for VLBI Image Reconstruction” 的論文中介紹了這項新算法。值得一提的是，同年獲 CVPR 最佳論文是提出的深度殘差網絡（ResNet）的何愷明等人。

該算法將從分布在全球各地的射電望遠鏡收集到的數據匯聚在一起，它是由一個名為 Event Horizon Telescope（EHT）的國際合作項目開發(fā)的。從本質上說，這個項目是將整個地球變成一個大型射電望遠鏡天線。

Event Horizon Telescope 項目采取的解決辦法是協調射電望遠鏡在相離很遠的地點進行測量。但即使是再多兩倍的望遠鏡也會在數據中留下很大的缺口，因為它們需要大約 1 萬公里寬的天線。填補這些空白正是 Bouman 等人提出新算法的目的。

以色列 Technion 電子工程系教授 Yoav Sechhner 認為，“論文作者使用了一種非常先進的方法來學習先驗知識（ priors ），從本質上說，先驗知識約束著所探尋的未知世界。因此，利用少量采集的數據可以很好地確定球在時空中的確切狀態(tài)。這種先驗模型方法在 EHT 項目圖像中的應用并不簡單。作者承擔了重大的努力和風險。它們在數學上合并成一個單一的優(yōu)化公式，一個非常不同、復雜的感知過程和一個基于學習的圖像先驗模型?！?/p>

與之共同參與的還有 MIT 計算機科學與人工智能實驗室的同事、哈佛史密森天體物理中心和麻省理工學院海斯塔克天文臺團隊，還有她的指導老師 MIT 計算機科學與人工智能實驗室教授 Bill Freeman。

據悉，當時該篇論文公布后并未贏得太多人的關注，根據 Google Scholar 可以看到，這篇論文也僅被引用了 11 次。北京郵電大學副教授陳光感嘆：“引用數未必代表工作的影響力，尤其是多學科工作！”

讓我們重讀這篇論文。

傳送門：https:///abs/1512.01413

摘要：

VLBI (Very Long Baseline Interferometry) 即長距離的基線干涉測量法是一種利用地球上分布的望遠鏡所發(fā)射的無線電信號實現同步成像的技術。實現這一技術的挑戰(zhàn)在于所重構細粒度的 VLBI 圖像需要非常大量稀疏的數據，而這些數據可能含一定的噪聲干擾，因而需要利用計算機視覺知識設計圖像統(tǒng)計模型來解決這個問題。

本研究提出一種基于貝葉斯 (Bayesian) 的新穎方法來解決 VLBI 圖像重構問題。相比于其他方法通過參數微調和篩選來處理不同類型數據，本研究所提出的方法 CHIRP， 能夠在不同的方法設置如 low SNR 或 extended emission 等條件下，產生良好的結果。實驗結果表明：該方法不僅可以在真實合成實驗中取得良好的效果，還能成功應用于那些公開的真實數據集。目前，該研究項目已經開源。

鏈接：vlbiimaging.csail.mit.edu

簡介

眾所周知，天文學和物理學的進步離不開高分辨率的天體成像技術。例如，通過高分辨的成像技術能夠回答有關黑洞及其周圍邊界物質分布的一些問題。由于遙遠天體信號源的高分辨成像需要大直徑的 single-dish 望遠鏡，而望遠鏡的直徑和角分辨率的關系呈反向，因此即使直徑再大的望遠鏡也無法將所采集的數據同時放在一個陣列中。這種情況下，需要使用多個這樣的望遠鏡，即通過長距離基線測量法 VLBI 來得到所需的數據，其測量原理如下圖1所示。

(a) EHT 中望遠鏡位置示意圖。通過觀測某一天所發(fā)射的信號，得到所對應的源圖像頻率平面的橢圓軌跡。

(b) 這些頻率 (u, v) 是預計投射的基線位置，其長度垂直于望遠鏡對的視線。相同顏色的點對應于相同望遠鏡對的測量值。

由于 VLBI 技術所采用的是一組稀疏約束的源圖像空間頻率數據，這不適用于圖像重構任務，且很大程度上需要依賴先驗來指導優(yōu)化過程。而對于 ETH，傳統(tǒng)的圖像重構算法也很難得到所要的高分辨率圖像。因此，本研究利用計算機視覺技術，提出一種新穎的圖像重構算法 CHIRP (Continuous High-resolution Image Reconstruction using Patch Priors)。

本文的主要貢獻如下：

• 提出一種改進的模型前向近似方法，用于更精確地對空間頻率進行建模。

• 提出一種更簡單的問題公式化和優(yōu)化策略，來解決 VLBI 數據噪聲的影響。

• 創(chuàng)建一個大型、真實的 VLBI 數據集 (地址：vlbiimaging.csail.mit.edu)。

數據集

本研究構建了一個大型的真實數據集和項目主頁，用于評估 VLBI 圖像重構算法的性能，希望通過大量易于理解的訓練和測試數據，讓更多領域的研究者能夠理解這項研究。項目主頁的內容主要包括：

用于 VLBI 圖像算法訓練和盲測 (blind test) 的標準數據，包括真實數據和合成數據，能夠自動定量地評估算法性能。

算法性能的定性對比結果。

提供一個在線表格，可以根據使用者所指定的方法，輕松模擬真實數據圖像和望遠鏡參數。

由于當前的干涉測量數據集難度較小，且所含有的噪聲特性并不適合無線電波長。因此，本研究引入一個新的 VLBI 無線數據集，不僅能夠揭示當時算法的不足，同時能夠促進新算法的發(fā)展。該數據集包含：

• 合成測量數據 (Synthesis Measurements)

  ：超過5000個標準格式的 VLBI 合成測量數據，包括各種陣列配置、源圖像以及噪聲級別。

• 真實測量數據 (Real Measurements)

  ：提供了33組相同標準格式的 VLBI 測量數據，這些數據都是通過 VLBA (Very Long Baseline Array) 方法采集得到的，為算法的測試提供實驗數據。

• 測試集合和錯誤度量 (Test Set and Error Metrics)：

  提供一組具有挑戰(zhàn)性的合成數據用于算法的盲測 (blind test)，該測試集引入公平定量的對比方法，包括 MSE、PSNR 以及帶結構相似指數 (structural similarity, SSIM)的 MSE 指標，來評估算法間的性能。

方法

• 連續(xù)圖像表征 (Continuous Image Representation)

在此，對于想要恢復的圖像 L (l, m)，將其定義在角坐標 l 和連續(xù)空間 m 上。在圖像重構時，許多算法通常假設一系列離散的點作為圖像的數據源，這種離散化的數據將在優(yōu)化期間引入一定的誤差，特別是在擬合更高頻率的可見性時。因此，本研究采用一個離散數項來參數化一副連續(xù)的圖，這不僅能夠對連續(xù)圖像進行建模，還能減少優(yōu)化過程的誤差。由于每個測量的復雜可見性都近似于 L (l, m) 的傅里葉變換，因此圖像的一種簡便的參數化形式可以表征為一個平移縮放的連續(xù)脈沖函數的離散值，如三角脈沖。如下圖2所示，可以看到相比于一組離散的是點數據源，這種圖像表征能夠更準確地近似真實的頻率分量。

可以看到，在相同的參數量情況下，所提出的方法能夠得到更加準確的真實頻率分布，其中紅色部分是真實圖像的頻率，而傳統(tǒng)的離散圖像模型用綠色表示，通過矩形和三角脈沖優(yōu)化后的模型分別用青色和藍色表示。

因此，本研究中采用兩倍間距的三角脈沖函數，這等價于在脈沖中心進行線性插值，同時簡化了非負的約束條件。值得一提的是，這不僅適用于 VLBI 圖像重構，這種方法存在一定的普遍適用性。

• Model Energy

基于給定復雙譜測量值 M，采用最大后驗概率 (MAP) 來估計圖像系數 x。此外，得益于 patch prior 方法在圖像存儲方面的成功應用，在此采用高斯混合模型的 patch prior 來正則化圖像，提出一種 EPLL 的方法 (Expected Patch Log Likelihood)，并最小化最大后驗概率的能量值，這與貝葉斯后驗概率法 (Bayesian posterior probability)相似。

• 優(yōu)化過程

對于算法的優(yōu)化，這里采用基于半二次方分裂法( Half Quadratic Splitting) 方法，并引入一組用于圖像中每個重疊部分的輔助 patch 值，通過不斷迭代來優(yōu)化算法。而對于迭代過程，這里提出了一種多尺度的迭代框架 (Multi-scale Framework)。首先，初始化以小噪聲為中心的圖像 x0。隨后，使用圖像的離散化公式，增加脈沖數并作用于圖像上。該框架允許在模型優(yōu)化前得到最佳的低分辨率圖像重構結果，也能有效地避免最終結果陷入局部的最優(yōu)解。本研究的優(yōu)化過程使用一組 20×20 的脈沖，并以10的大小，逐漸增加到 64×64。

實驗結果

為了驗證所提出算法 CHIRP 的有效性，本研究進一步在合成數據和真實的 VLBI 數據上進行大量的實驗。

• 合成數據的結果：下圖3展示的是在 CHIRP 方法在合成數據上的結果，可以看到過濾掉空間頻率的影響明顯高于最小條紋的間距。

• 方法對比:下圖4展示的是其他三種最先進的算法 (SQUEEZE，BSMEM 和 CLEAN) 與 CHIRP 方法的結果對比。可以看到，CHIRP 方法能夠處理各種不同的數據源，從簡單的天體數據到復雜的自然圖像，而不需要額外的參數調整。相比之下，CLEAN 產生的圖像比較模糊，SQUEEZE 和 BSMEM 所得到的圖像相對稀疏。

除了四種方法的結果，TARGET 圖像表示的是由地面真實發(fā)射過濾到望遠鏡陣列中的最大分辨率圖像。

此外，圖5展示的各種算法在盲測數據集 (blind test) 上的結果，如下所示。由于 CLEAN 方法無法自動處理大的相位誤差，因此無法對比不同方法的結果優(yōu)劣。

• 噪聲敏感度：下圖6展示的是當改變總體的磁通密度 (total flux density) 時，圖像重構任務上噪聲對每種方法的影響對比。

• Patch Prior的作用：下圖7展示的是使用一個 patch prior 訓練所得到 natural，celestial，black hole，l2 norm 以及 l0.8 條件下的黑洞圖像。

• 真實數據的結果：下圖8展示的是 CHIRP 方法在三種不同的真實數據上的重構結果。

結論

本研究主要提出一種 CHIRP 算法，使用稀疏的 VLBI 頻率限制來重構圖像。通過大量的實驗證明，相比于當前最先進的方法，所提出的 CHIRP 方法在合成和真實數據上的實驗結果都優(yōu)于其他算法。

此外，本研究的另一貢獻是構建了一個新的數據集以及在線的算法性能對比平臺，希望這能夠推動天體成像方面的研究。

一個小插曲

不過，就在 Katie Bouman 本人出名后，還出現了一個插曲，在 GitHub 上開源的黑洞算法代碼庫（https://github.com/achael/eht-imaging）里，她被質疑并非是代碼的主要貢獻者，而是另一個成員 Andrew Chael。

隨后，Andrew Chael 很快發(fā)推特回應稱：“如果你因為 Kaite 是名女性想要攻擊她才來祝賀我，那么請走開，管好自己的事情?！彼€澄清說明自己并為該項目編寫 850000 行代碼，目前的軟件中有大約 68000 行代碼，我并不關心我個人編寫了多少行代碼。”