暗光拍照也清晰，這是手機廠商目前激烈競爭的新拍照目標。

但除了堆攝像頭和硬件，AI科學家?guī)硭惴ǚ矫娴男峦黄啤?/p>

他們提出基于深度學習優(yōu)化光照的暗光下的圖像增強模型，用端到端網絡增強曝光不足的照片。

而且不是像以前的工作那樣，直接學習圖像到圖像的映射，而是在新網絡中引入中間照明，將輸入與預期的增強結果相關聯，增強網絡從專家修飾的輸入/輸出圖像學習復雜的攝影調整的能力。

結果證明，新算法模型，效果超過了市面上一眾當紅的多攝多硬手機。

這個新算法由騰訊優(yōu)圖實驗室提出，王瑞星、沈小勇及賈佳亞是作者，論文已入選CVPR 2019.

傳統(tǒng)圖像增強算法不好用

優(yōu)圖方面稱，人們在社交網絡中，往往喜歡分享自己用不同設備拍攝的照片，尤其是使用手機拍攝的照片，不過很多時候，由于低光照或者背光的環(huán)境下拍攝到的照片經常會產生欠曝光的現象，由于在圖像增強的整個過程不是線性的操作，并且增強的結果是很主觀的，因此欠曝光圖像增強是一個很具有挑戰(zhàn)性的任務。

雖然目前市面上存在了一些專業(yè)的圖像處理軟件，可以讓用戶交互式的處理圖像，如Adobe lightroom, PhotoShop。但是對于業(yè)余愛好者來說，能同時處理好顏色，對比度，調節(jié)光照等操作是非常困難的。

也有一些軟件提供了一鍵自動的增強圖像的功能，比如Lightroom的Auto Tone功能和iPhone的魔法棒增強功能，但是由于平衡各方面的調整是非常復雜的一件事。

這些軟件依然會得到一些失敗的案例。

傳統(tǒng)夜景圖像增強算法大致可以分為幾個方面：直方圖均衡化(Histogram equalization)，這種方法簡單的利用了圖像整體的統(tǒng)計性質，通常不能對復雜場景達到理想效果。

基于Retinex理論的增強算法，通常只能用單通道進行光照優(yōu)化，顏色無法很好地回復，在光照復雜的情況下還容易出現過曝的現象。

這些傳統(tǒng)方法還容易在增加圖像亮度的同時，放大噪聲等瑕疵，影響圖像質量。

基于深度學習的方法，通常是直接訓練回歸(regression)模型，由于數據本身的特性，這種方法得到的結果通常清晰度、對比度比較低，而且會有一些人工痕跡。

轉換方法+網絡結構設計

對此，騰訊優(yōu)圖將圖像增強問題，轉化為光照優(yōu)化問題。

之前的神經網絡都是從訓練數據，學習原始圖像到清晰圖像之間的回歸映射。

優(yōu)圖則是希望通過神經網絡學習出中間結果圖像的光照圖（illumination）, 進而再通過輸入圖像和光照圖的關系，得到增強后的圖片。

與幾個具有代表性的商業(yè)軟件效果對比：

具體方面及網絡結構：

在網絡結構的設計方面，本方案采用創(chuàng)新的雙分支的網絡結構。

網絡分成了全分辨率分支和低分辨率分支。其中低分辨率分支用于學習到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網絡感受野，提高算法速度。

低分辨率分支的結果將會傳遞給高分辨率網絡分支，用于重建全分辨率下的亮度圖，并最終得到增強后的圖像。

此外，優(yōu)圖設計的新的損失函數，包括：圖像重建損失、光照局部平滑損失以及顏色損失，進一步幫助騰訊優(yōu)圖的網絡產生更加穩(wěn)定、清晰、顏色真實鮮艷的結果。

得益于雙分支網絡的設計，以及全分辨率分支中的雙邊上采樣模塊的設計，本方法可以在保證效果的同時，在GPU上對于高分辨率圖片（例如：3000x2000）進行實時的增強。

實現細節(jié)如下：

夜景圖像增強的任務中，一個難點是難以獲取到成對的增強前后的訓練圖像。在該項目中，優(yōu)圖使用了MIT-Adobe 5K數據集，該數據集包含了5000組原始圖片和專業(yè)美工調節(jié)后的圖像。

此外，為了適應光照程度更加復雜的場景，優(yōu)圖自行采集數千組高清暗光照片作為訓練數據。由此構建出的數據集，使得本算法在復雜光照下，也能得到穩(wěn)定結果。

對于上邊描述的深度神經網絡結構，優(yōu)圖利用對應的暗光和清晰圖片進行網絡的訓練。因為卷積網絡不限制輸入圖片的大小，研究人員隨機從圖片中截取256x256尺寸大小的圖片塊進行網絡訓練來更好地利用GPU顯存。訓練好的模型可以利用在任何尺寸的圖片上。

除了對于欠曝光圖像增強外，優(yōu)圖對于一些市面上常見的手機（華為P20, 小米MiX3, iPhoneX, 三星S9+）拍攝的結果，利用新算法也進行了進一步的美化，效果圖如下：

論文傳送門

Underexposed Photo Enhancement using Deep Illumination Estimation

《基于深度學習優(yōu)化光照的暗光下的圖像增強》

http:///papers/photoenhance_cvpr19.pdf

One more thing

不過，近日騰訊優(yōu)圖最受熱議的還有一樁AI公益的案例。

央視欄目《等著我》報道稱，優(yōu)圖突破“跨年齡人臉識別”，幫助警方尋回了被拐十年兒童。

優(yōu)圖方面介紹，這是優(yōu)圖創(chuàng)新性技術在公益領域的成果。

依托騰訊海量數據，騰訊優(yōu)圖首創(chuàng)了跨年齡人臉識別技術，重點解決尋人場景中嬰幼兒被拐的情況。

為了充分的從數據中學習人臉自然的跨年齡變化規(guī)律，騰訊優(yōu)圖提出了基于DDL（分布式蒸餾學習法則）學習策略的正則化遷移學習策略。

基于該策略，算法模型可充分進行跨年齡人臉識別學習，從而讓困難的跨年齡識別更加可靠和精準。

騰訊方面稱，這是對“科技向善”的最好實踐。