|
近些年人工智能技術發(fā)展迅猛，深度學習技術也隨著計算能力的快速得到發(fā)展。同時，目標檢測是機器視覺以及人工智能領域的一個基本問題，其主要目標是精確定位出圖像中各種目標的類別和位置邊框信息。目標檢測方法在安全監(jiān)控、智慧交通以及圖像檢索等各領域都有廣泛的運用。對于目標檢測的研究，不僅本身有巨大的應用需求，還為相關領域的其他機器視覺任務提供了理論基礎和研究思路，比如：目標追蹤，人臉檢測，行人檢測等技術。下面對深度學習中神經(jīng)網(wǎng)絡的概念進行了介紹，具體包括全連接神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng) 1 全連接神經(jīng)網(wǎng)絡 監(jiān)督學習問題就是使用帶標簽的訓練樣本，以參數(shù) w 和 b 來擬合出數(shù)據(jù)。最簡單的神經(jīng)網(wǎng)絡：輸入數(shù)據(jù) x 經(jīng)過神經(jīng)網(wǎng)絡處理輸出 h(x)。若神經(jīng)元有三個輸入值(??)1，(??)2，(??)3以及一個輸入的截距項+1(一般寫作 b), 其輸出為：???,??(??) = ??(??T??) = ??(??=??(i)??(i)+ ??)(i=1,2,3)。在神經(jīng)網(wǎng)絡中，可以通過激活函數(shù) Sigmoid，Relu，Tanh 函數(shù)等來獲取非線性。
神經(jīng)網(wǎng)絡就是通過將眾多簡單的神經(jīng)元連接在一起得到的，一個神經(jīng)元的輸出可作為另一神經(jīng)元的輸入。多層神經(jīng)網(wǎng)絡模型常常如圖 1 所示。對于神經(jīng)網(wǎng)絡模型，其最終的目標都是要得到最后優(yōu)化后的參數(shù)模型用于分類、檢測以及分割等問題。所以神經(jīng)網(wǎng)絡模型最重要的一部分就是對自身模型的不斷優(yōu)化，而實現(xiàn)這一目標最重要的就是前向與反向傳播算法。 （1） 前向傳播算法 
上述公式即為前向傳播步驟。其中??(1)= ??為輸入層的激活值，第?? + 1層的激活值??(??+1)的計算方式如公式如下所示： 
（2） 反向傳播算法 反向傳播算法優(yōu)化的目標是最小化把 W 和 b 作為參數(shù)的函數(shù) J(W,b)。為訓練神經(jīng)網(wǎng)絡將會初始化每一個??i??(??)參數(shù)，以及每一個??i(??)參數(shù)，它們被初始化為隨機值，這些隨機值接近 0 且盡可能小，這樣做的主要目的就是使對稱變得失效。 為了對(??, ??)進行前向傳播運算，需要先算出神經(jīng)網(wǎng)絡中所有節(jié)點的激活值，然后計算出第??層的每一個節(jié)點 i 的“殘差”??(??)，這個殘差值代表這個節(jié)點對于整個輸出值的殘差有多大的影響力，而最后的輸出節(jié)點，可以直接得到神經(jīng)網(wǎng)絡得到的激活值與實際之間比較有多大的差距，可以將這個差距定義為??(??),同時，第??層對應輸出層,對于中間層??,殘差??(??)可以通過第?? + 1層殘差的加權平均值來計算，這些節(jié)點??(??)以作為輸入。具體步驟為： (a)進行前向傳播算法計算，得到??2, ??3, … ??????的激活值。 (b)第??層的每個輸出結點 i 的殘差，可以按照如下公式來計算： 
(c)?? = ??? 1, ????? 2, ????? 3, … ,2時，可以通過如下公式來計算每層第 i 個節(jié)點的殘差： 
將上述公式中??? 1與????的關系改為為??與?? + 1的關系，可以推導得到： 
(d)計算最終需要的偏導數(shù)，如公式如下所示： 
可以用矩陣-向量表示法表達以上公式： 
2 卷積神經(jīng)網(wǎng)絡 卷積神經(jīng)網(wǎng)絡是一個特征提取網(wǎng)絡，它通常有多個卷積層以及有池化層，在最后通常還會接有全連接層。在卷積神經(jīng)網(wǎng)絡中，所有的權重都是共享的并且池化操作具有平移不變特征。同時，卷積神經(jīng)網(wǎng)絡相對于多層神經(jīng)網(wǎng)絡而言參數(shù)量更少，訓練起來非常容易，卷積神經(jīng)網(wǎng)絡的常見架構如下圖所示。 
如圖2，卷積神經(jīng)網(wǎng)絡架構通常包括有輸入層、多級卷積層、激活層以及輸出部分。但在通常的情況下，我們可以根據(jù)不同的任務需求、不同的硬件條件等來設計出不同的卷積神經(jīng)網(wǎng)絡架構。在卷積神經(jīng)網(wǎng)絡結構中通常加入全連接層的目的在于對給定對象進行分類預測，在實際中，我們可以使用1×1的卷積來代替全連接層來達到減少參數(shù)量的目的。
|
