代碼以及數(shù)據(jù)集：https://github.com/ChenyangLEI/flash-reflection-removal
項(xiàng)目主頁(yè)：https://chenyanglei./flashrr_rfc/index.html
論文：https:///pdf/2103.04273.pdf
利用偏振光去反射：https://github.com/ChenyangLEI/polarization-reflection-removal

本文介紹了一種非常魯棒的去反光算法，在定量指標(biāo)和視覺(jué)效果上都顯著超過(guò)了其他的算法。

摘要

我們的算法主要利用了一張額外的閃光照片（Flash image）來(lái)進(jìn)行去反射（Reflection Removal），只需要一步操作，我們可以極大地提升效果。本文的主要貢獻(xiàn)有三個(gè)： 

1. 我們提出了一種新穎的提示（Reflection-free Flash-only Cues，RFC），該提示使區(qū)分反射更容易，從而進(jìn)行更好地去反射。該提示非?？煽康?，因?yàn)樗c環(huán)境光下的反射的外觀和強(qiáng)度無(wú)關(guān)。

2. 我們提出了一個(gè)專(zhuān)用框架，該框架可以在使用RFC的同時(shí)避免引入僅閃光圖像的artifacts。與最新技術(shù)相比，我們?cè)谡鎸?shí)數(shù)據(jù)集上的PSNR提高了5.23dB以上，SSIM提高了0.04，在LPIPS中減小了0.068。

3. 我們構(gòu)造了第一個(gè)包含raw數(shù)據(jù)和RGB數(shù)據(jù)的數(shù)據(jù)集，以用于基于閃光的去反射。

背景

什么是去反射？觀察玻璃后的背景時(shí)，玻璃上有鏡面反射，導(dǎo)致背景物體的結(jié)構(gòu)、顏色清晰度下降。例如在商場(chǎng)中透過(guò)玻璃看商品，在展覽館中通過(guò)玻璃看作品，再例如從車(chē)窗外看車(chē)內(nèi)的人。

為什么要去反射？當(dāng)我們的目標(biāo)是背景時(shí)，反射屬于干擾信號(hào)。反射可能影響照片美觀，或者影響其他算法在照片的效果（例如目標(biāo)檢測(cè)）。

為什么去反射比較困難？反射和背景都是自然圖像，難以分辨。在許多情況下，只看圖片的一部分，即便人類(lèi)也無(wú)法分辨。

相關(guān)工作

單張圖像去反射。在某些情況下，反射的外觀可能含有一些線(xiàn)索。例如，在對(duì)焦在背景時(shí)，反射可能失焦，且因此看起來(lái)模糊[6,7]。當(dāng)玻璃比較厚的時(shí)候，可能產(chǎn)生鬼影效果[4]。然而，這些線(xiàn)索在很多時(shí)候并不成立?，F(xiàn)實(shí)世界中的反光很可能是清晰且無(wú)鬼影的。當(dāng)反射的外觀不符合算法假設(shè)時(shí)，算法的效果常常會(huì)劇烈下降。

多張圖像去反射。一些去反射方法[5]利用在反射和背景的不同運(yùn)動(dòng)狀態(tài)來(lái)進(jìn)行去反射。但是，拍攝不同的運(yùn)動(dòng)圖像會(huì)花費(fèi)更多的精力（用戶(hù)需要移動(dòng)手機(jī)）。還有一些方法[3]利用了偏振光，但是偏振相機(jī)還沒(méi)有被廣泛運(yùn)用。

基于閃光去反射。閃光燈的其他特點(diǎn)曾被許多工作應(yīng)用過(guò)。Agrawal等人[1]假設(shè)圖像的梯度方向在閃光和環(huán)境光下是一致的。但是，它們?cè)诓焕硐氲膮^(qū)域（例如，陰影，鏡面反射）很難生成合理的結(jié)果。此外，它們的結(jié)果往往過(guò)于平滑。SDN[2]假設(shè)可以通過(guò)閃光明顯抑制反射，但是抑制效果對(duì)環(huán)境光下的反射強(qiáng)度敏感：當(dāng)反射較強(qiáng)時(shí)，抑制不再有效。下文將介紹，在相同的設(shè)置之下，我們的算法效果上顯著超過(guò)這兩種算法。

Reflection-free Flash-only Cues (RFC)

首先介紹一個(gè)概念，純閃光圖片（Flash-only image）。

和一般的單張圖片去反射方法上圖(a) 相比，我們的方法需要多拍攝一張閃光照片圖(b)。我們命名環(huán)境光照（ambient illumination）下的圖片為，加上閃光光照（flash illuminating）的圖片為。我們處理得到的圖片是上圖(c)，純閃光圖片。如何獲得？

注意此處我們需要這兩張圖片的raw image，因?yàn)閟RGB圖片的數(shù)值和光照并非線(xiàn)性相關(guān)。R和T分別表示閃光和背景。式子（3）是最關(guān)鍵的一步操作。由式子（3）可以知道，環(huán)境光照下的反光已經(jīng)完全消失，但是還有flash-only光照下的反光。我們認(rèn)為，它在大多數(shù)情況下為0。因?yàn)殚W光燈具有方向性，只會(huì)照亮前面的東西，不會(huì)照亮后面的東西。而玻璃的反光在經(jīng)過(guò)多次彈射之后進(jìn)入相機(jī)已經(jīng)比較弱了。

網(wǎng)絡(luò)結(jié)構(gòu)

雖然純閃光照片不包含任何的（環(huán)境光下的反光），但是這張圖片本身存在很多質(zhì)量上的問(wèn)題，包括：（1）偏色；（2）不均勻光照（由物體的遠(yuǎn)近和形狀導(dǎo)致）；（3）閃光燈反光；（4）新的陰影或者被照亮的灰塵。如下圖：我們需要設(shè)計(jì)一種結(jié)構(gòu)，既可以利用到RFC的優(yōu)點(diǎn)，又能規(guī)避上述純閃光圖片I_{fo}的缺陷。因此我們?cè)O(shè)計(jì)了一個(gè)兩階段的框架，第一個(gè)階段只預(yù)測(cè)R_a，第二階段再預(yù)測(cè)T_a。我們框架的目的是讓最終得到的圖片依賴(lài)于I_a而非I_{fo}，而I_{fo}只作為一個(gè)參考圖片。這樣子，的artifacts在第一個(gè)階段就可以被攔截了。

如果單純利用一個(gè)網(wǎng)絡(luò)來(lái)預(yù)測(cè)會(huì)怎么樣呢？我們實(shí)驗(yàn)發(fā)現(xiàn)網(wǎng)絡(luò)傾向于從生成最終的結(jié)果，上述的多種artifact就會(huì)被引入。

實(shí)驗(yàn)結(jié)果

我們對(duì)比了兩類(lèi)算法：?jiǎn)螆D去反射算法和基于閃光的去反射算法。上表展示了定量對(duì)比的結(jié)果，我們的表現(xiàn)顯著超過(guò)了其他算法（包括其他基于閃光的去反光算法）。

上圖展示了一個(gè)視覺(jué)對(duì)比結(jié)果，我們的算法在強(qiáng)的反光下仍然可以去掉反光，這主要得益于純閃光圖片的引導(dǎo)。

上圖展示了一個(gè)視覺(jué)對(duì)比結(jié)果，我們的算法可以魯棒地去掉反光。

上圖展示了一個(gè)視覺(jué)對(duì)比結(jié)果，和最新的基于閃光的去反射算法相比較（SDN, IJCV2020），我們可以更好的去掉強(qiáng)反光（當(dāng)然，弱的反光更不在話(huà)下）。

討論與總結(jié)

我們相信純閃光圖片還可以被運(yùn)用到很多其他的領(lǐng)域中。例如，我們發(fā)現(xiàn)環(huán)境光下的陰影也會(huì)在中消失，也就是說(shuō)，也可以用去陰影。其次，在純反光圖片中只有一個(gè)光源，這對(duì)于很多領(lǐng)域也是非常重要的，例如photometric stereo。

由于我們的reflection-free cues，我們的算法的魯棒性和精確性都很強(qiáng)，這從很多實(shí)驗(yàn)結(jié)果中也可以得到印證。盡管我們需要多拍一張照片，但是可以通過(guò)客制的程序來(lái)以很小的代價(jià)實(shí)現(xiàn)這一點(diǎn)（連拍兩張照片）。我們的缺點(diǎn)在于，當(dāng)物體離玻璃很遠(yuǎn)時(shí)，閃光燈可能無(wú)法照到物體，那么就全黑了，當(dāng)然，這也是多數(shù)active-sensing的共同缺點(diǎn)，存在距離限制。