最小二乘法是一種在誤差估計、不確定度、系統(tǒng)辨識及預(yù)測、預(yù)報等數(shù)據(jù)處理諸多學科領(lǐng)域得到廣泛應(yīng)用的數(shù)學工具。最小二乘很簡單，也在業(yè)界得到了廣泛使用。

但是對于最小二乘法和它的故事，也許很多人并不了解，今天給大家做一下分享。

1801年，意大利天文學家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計算的結(jié)果來尋找谷神星都沒有結(jié)果。

時年24歲的高斯也計算了谷神星的軌道。奧地利天文學家海因里希·奧伯斯根據(jù)高斯計算出來的軌道重新發(fā)現(xiàn)了谷神星。

高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運動論》中，而法國科學家勒讓德于1806年獨立發(fā)現(xiàn)“最小二乘法”，但因不為世人所知而默默無聞。

為了方便大家理解最小二乘法，給大家講個故事。

假設(shè)身高是變量X，體重是變量Y，我們都知道身高與體重有比較直接的關(guān)系。生活經(jīng)驗告訴我們：一般身高比較高的人，體重也會比較大。但是這只是我們直觀的感受，只是很粗略的定性的分析。

在數(shù)學世界里，我們大部分時候需要進行嚴格的定量計算：能不能根據(jù)一個人的身高，通過一個式子就能計算出他或者她的標準體重？

我們可以采樣一批人的身高體重數(shù)據(jù)， (x1?,y1?),(x2?,y2?),?,(xn?,yn?)，其中x是身高，y是體重。

生活常識告訴我們：身高與體重是一個近似的線性關(guān)系，用最簡單的數(shù)學語言來描述就是y = \beta_0+\beta_1xy=β0?+β1?x。

于是，接下來的任務(wù)就變成：怎么求出這個β0?與β1?呢？

為了計算β0?,β1??的值，我們采取如下規(guī)則：β0?,β1?應(yīng)該使計算出來的函數(shù)曲線與觀察值的差的平方和最小。用數(shù)學公式描述就是：

其中，y_{ie}yie?表示根據(jù)y=\beta_0 + \beta_1xy=β0?+β1?x估算出來的值，y_iyi?是觀察得到的真實值。

這樣，樣本的回歸模型很容易得出：

現(xiàn)在需要確定β0?、β1?，使cost function最小。
大家很容易想到，對該函數(shù)求導(dǎo)即可找到最小值：

將這兩個方程整理后使用克萊姆法則，很容易求解得出：

根據(jù)這個公式，只需要將樣本都帶入就可以求解出相應(yīng)的參數(shù)。

如果我們推廣到更一般的情況，假如有更多的模型變量
x1,x2,?,xm（注意：x_1x1?是指 一個樣本，x1是指樣本里的一個模型相關(guān)的變量)，可以用線性函數(shù)表示如下：

y(x1,?,xm;β0?,?,βm?)=β0?+β1?x1+?+βm?xm

對于n個樣本來說，可以用如下線性方程組表示：

如果將樣本矩陣x_i^hxih?記為矩陣A,將參數(shù)矩陣記為向量\betaβ，真實值記為向量Y，上述線性方程組可以表示為：

即A \beta = YAβ=Y

對于最小二乘來說，最終的矩陣表達形式可以表示為：

min∣∣Aβ?Y∣∣2?

最后的最優(yōu)解為：

β=(ATA)?1ATY

2021華為云 AI 實戰(zhàn)營——華為云員工都在學的AI實戰(zhàn)營，快來報名免費學習吧~華為云AI實戰(zhàn)營_云主機_云服務(wù)器_華為云

點擊關(guān)注，第一時間了解華為云新鮮技術(shù)~華為云博客_大數(shù)據(jù)博客_AI博客_云計算博客_開發(fā)者中心-華為云