邊框回歸(Bounding Box Regression)詳解

LZS2851 2021-05-13

展開全文

Bounding-Box regression

最近一直看檢測有關(guān)的Paper, 從rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，到今年cvpr最新的yolo9000。這些paper中損失函數(shù)都包含了邊框回歸，除了rcnn詳細(xì)介紹了，其他的paper都是一筆帶過，或者直接引用rcnn就把損失函數(shù)寫出來了。前三條網(wǎng)上解釋比較多，后面的兩條我看了很多paper，才得出這些結(jié)論。

為什么要邊框回歸？
什么是邊框回歸？
邊框回歸怎么做的？
邊框回歸為什么寬高，坐標(biāo)會設(shè)計這種形式？
為什么邊框回歸只能微調(diào)，在離Ground Truth近的時候才能生效？

為什么要邊框回歸？

這里引用王斌師兄的理解，如下圖所示：

對于上圖，綠色的框表示Ground Truth, 紅色的框為Selective Search提取的Region Proposal。那么即便紅色的框被分類器識別為飛機(jī)，但是由于紅色的框定位不準(zhǔn)(IoU<0.5)，那么這張圖相當(dāng)于沒有正確的檢測出飛機(jī)。如果我們能對紅色的框進(jìn)行微調(diào)，使得經(jīng)過微調(diào)后的窗口跟Ground Truth 更接近，這樣豈不是定位會更準(zhǔn)確。確實，Bounding-box regression 就是用來微調(diào)這個窗口的。

邊框回歸是什么？

繼續(xù)借用師兄的理解：對于窗口一般使用四維向量 $(x, y, w, h)$ 來表示，分別表示窗口的中心點坐標(biāo)和寬高。對于圖 2, 紅色的框 P 代表原始的Proposal, 綠色的框 G 代表目標(biāo)的 Ground Truth，我們的目標(biāo)是尋找一種關(guān)系使得輸入原始的窗口 P 經(jīng)過映射得到一個跟真實窗口 G 更接近的回歸窗口 $\hat{G}$ 。

邊框回歸的目的既是：給定 $(P_{x}, P_{y}, P_{w}, P_{h})$ 尋找一種映射 $f$ ，使得 $f (P_{x}, P_{y}, P_{w}, P_{h}) = (\hat{G_{x}}, \hat{G_{y}}, \hat{G_{w}}, \hat{G_{h}})$ 并且 $(\hat{G_{x}}, \hat{G_{y}}, \hat{G_{w}}, \hat{G_{h}}) \approx (G_{x}, G_{y}, G_{w}, G_{h})$

邊框回歸怎么做的？

那么經(jīng)過何種變換才能從圖 2 中的窗口 P 變?yōu)榇翱?span style="position: relative;" data-mathml=" $\hat{G}$ " role="presentation"> $\hat{G}$ 呢？比較簡單的思路就是: 平移+尺度放縮

先做平移 $(Δ x, Δ y)$ ， $Δ x = P_{w} d_{x} (P), Δ y = P_{h} d_{y} (P)$ 這是R-CNN論文的：
${\hat{G}}_{x} = P_{w} d_{x} (P) + P_{x}, (1)$

${\hat{G}}_{y} = P_{h} d_{y} (P) + P_{y}, (2)$
然后再做尺度縮放 $(S_{w}, S_{h})$ , $S_{w} = e x p (d_{w} (P)), S_{h} = e x p (d_{h} (P))$ , 對應(yīng)論文中：
${\hat{G}}_{w} = P_{w} e x p (d_{w} (P)), (3)$

${\hat{G}}_{h} = P_{h} e x p (d_{h} (P)), (4)$

觀察(1)-(4)我們發(fā)現(xiàn)，邊框回歸學(xué)習(xí)就是 $d_{x} (P), d_{y} (P), d_{w} (P), d_{h} (P)$ 這四個變換。下一步就是設(shè)計算法那得到這四個映射。

線性回歸就是給定輸入的特征向量 X, 學(xué)習(xí)一組參數(shù) W, 使得經(jīng)過線性回歸后的值跟真實值 Y(Ground Truth)非常接近. 即 $Y \approx W X$ 。那么 Bounding-box 中我們的輸入以及輸出分別是什么呢？

Input:

$R e g i o n P r o p o s a l \to P = (P_{x}, P_{y}, P_{w}, P_{h})$ ，這個是什么？輸入就是這四個數(shù)值嗎？其實真正的輸入是這個窗口對應(yīng)的 CNN 特征，也就是 R-CNN 中的 Pool5 feature（特征向量）。 (注：訓(xùn)練階段輸入還包括 Ground Truth，也就是下邊提到的 $t_{*} = (t_{x}, t_{y}, t_{w}, t_{h})$ )

Output:

需要進(jìn)行的平移變換和尺度縮放 $d_{x} (P), d_{y} (P), d_{w} (P), d_{h} (P)$ ，或者說是 $Δ x, Δ y, S_{w}, S_{h}$ 。我們的最終輸出不應(yīng)該是 Ground Truth 嗎？是的，但是有了這四個變換我們就可以直接得到 Ground Truth，這里還有個問題，根據(jù)(1)~(4)我們可以知道， P 經(jīng)過 $d_{x} (P), d_{y} (P), d_{w} (P), d_{h} (P)$ 得到的并不是真實值 G，而是預(yù)測值 $\hat{G}$ 。的確，這四個值應(yīng)該是經(jīng)過 Ground Truth 和 Proposal 計算得到的真正需要的平移量 $(t_{x}, t_{y})$ 和尺度縮放 $(t_{w}, t_{h})$ 。
這也就是 R-CNN 中的(6)~(9)：

t_{x} = (G_{x} - P_{x}) / P_{w}, (6)

t_{y} = (G_{y} - P_{y}) / P_{h}, (7)

t_{w} = \log (G_{w} / P_{w}), (8)

t_{h} = \log (G_{h} / P_{h}), (9)

那么目標(biāo)函數(shù)可以表示為 $d_{*} (P) = w_{*}^{T} Φ_{5} (P)$ ， $Φ_{5} (P)$ 是輸入 Proposal 的特征向量， $w_{*}$ 是要學(xué)習(xí)的參數(shù)（*表示 x,y,w,h，也就是每一個變換對應(yīng)一個目標(biāo)函數(shù)） , $d_{*} (P)$ 是得到的預(yù)測值。我們要讓預(yù)測值跟真實值 $t_{*} = (t_{x}, t_{y}, t_{w}, t_{h})$ 差距最小，得到損失函數(shù)為：

L o s s = \sum_{i}^{N} (t_{*}^{i} - {\hat{w}}_{*}^{T} ϕ_{5} (P^{i}))^{2}

函數(shù)優(yōu)化目標(biāo)為：

W_{*} = a r g m i n_{w_{*}} \sum_{i}^{N} (t_{*}^{i} - {\hat{w}}_{*}^{T} ϕ_{5} (P^{i}))^{2} + λ | | {\hat{w}}_{*} | |^{2}

利用梯度下降法或者最小二乘法就可以得到 $w_{*}$ 。

為什么寬高尺度會設(shè)計這種形式？

這邊我重點解釋一下為什么設(shè)計的 $t_{x}, t_{y}$ 為什么除以寬高，為什么 $t_{w}, t_{h}$ 會有l(wèi)og形式?。?！

首先CNN具有尺度不變性，以圖3為例：

x,y 坐標(biāo)除以寬高

上圖的兩個人具有不同的尺度，因為他都是人，我們得到的特征相同。假設(shè)我們得到的特征為 $ϕ_{1}, ϕ_{2}$ ，那么一個完好的特征應(yīng)該具備 $ϕ_{1} = ϕ$ 。ok，如果我們直接學(xué)習(xí)坐標(biāo)差值，以x坐標(biāo)為例， $x_{i}, p_{i}$ 分別代表第i個框的x坐標(biāo)，學(xué)習(xí)到的映射為 $f$ , $f (ϕ_{1}) = x_{1} - p_{1}$ ，同理 $f (ϕ_{2}) = x_{2} - p_{2}$ 。從上圖顯而易見， $x_{1} - p_{1} \neq x_{2} - p_{1}$ 。也就是說同一個x對應(yīng)多個y，這明顯不滿足函數(shù)的定義。邊框回歸學(xué)習(xí)的是回歸函數(shù)，然而你的目標(biāo)卻不滿足函數(shù)定義，當(dāng)然學(xué)習(xí)不到什么。

寬高坐標(biāo)Log形式

我們想要得到一個放縮的尺度，也就是說這里限制尺度必須大于0。我們學(xué)習(xí)的 $t_{w}, t_{h}$ 怎么保證滿足大于0呢？直觀的想法就是EXP函數(shù)，如公式(3), (4)所示，那么反過來推導(dǎo)就是Log函數(shù)的來源了。

為什么IoU較大，認(rèn)為是線性變換？

當(dāng)輸入的 Proposal 與 Ground Truth 相差較小時(RCNN 設(shè)置的是 IoU>0.6)，可以認(rèn)為這種變換是一種線性變換，那么我們就可以用線性回歸來建模對窗口進(jìn)行微調(diào)，否則會導(dǎo)致訓(xùn)練的回歸模型不 work（當(dāng) Proposal跟 GT 離得較遠(yuǎn)，就是復(fù)雜的非線性問題了，此時用線性回歸建模顯然不合理）。這里我來解釋：

Log函數(shù)明顯不滿足線性函數(shù)，但是為什么當(dāng)Proposal 和Ground Truth相差較小的時候，就可以認(rèn)為是一種線性變換呢？大家還記得這個公式不？參看高數(shù)1。

l i m_{x = 0} l o g (1 + x) = x

現(xiàn)在回過來看公式(8):

t_{w} = \log (G_{w} / P_{w}) = l o g (\frac{G_{w} + P_{w} - P_{w}}{P_{w}}) = l o g (1 + \frac{G_{w} - P_{w}}{P_{w}})

當(dāng)且僅當(dāng) $G_{w} - P_{w}$ =0的時候，才會是線性函數(shù)，也就是寬度和高度必須近似相等。

對于IoU大于指定值這塊，我并不認(rèn)同作者的說法。我個人理解，只保證Region Proposal和Ground Truth的寬高相差不多就能滿足回歸條件。x,y位置到?jīng)]有太多限制，這點我們從YOLOv2可以看出，原始的邊框回歸其實x，y的位置相對來說對很大的。這也是YOLOv2的改進(jìn)地方。詳情請參考我的博客YOLOv2。