協(xié)方差及協(xié)方差矩陣有著特別廣泛的應用，在多元高斯分布、高斯過程、卡爾曼濾波等算法中多有用到，本文從協(xié)方差、協(xié)方差矩陣講起，并重點講解協(xié)方差矩陣在高斯分布中的用法及意義，也是講解高斯過程、貝葉斯優(yōu)化的鋪墊。

協(xié)方差（Covariance）

X、Y兩個隨機變量的協(xié)方差在和中用于衡量兩個變量的總體。用來刻畫兩個隨機變量之間的相關性：

假定我們不知道潛在的概率分布，我們?nèi)個樣本來計算：

分別計算這n樣本的兩個變量的均值，這兩個變量的協(xié)方差可以用下式來計算：

由于變量都有量綱，如果消除各自量綱影響，將協(xié)方差除以兩個變量的標準差，則可得相關系數(shù)：

協(xié)方差矩陣

隨機向量：

我們計算所有元素的兩兩協(xié)方差，形成協(xié)方差矩陣：

這是一個對稱矩陣，對角線是每個變量的方差。如果是對角陣，

協(xié)方差矩陣形式如下：

協(xié)方差矩陣與多元高斯分布

多元高斯分布概率密度的推導

設多元高斯分布如下：均值向量為μ，協(xié)方差矩陣為Σ

與一元高斯分布對比，概率密度函數(shù)形式有所變化，這個變化是怎么來的，我們通過二元高斯分布來推導一下這個密度函數(shù)的由來。

對于二元高斯分布，我們設定：

現(xiàn)在我們推導兩個變量的高斯分布的密度函數(shù)公式：

這個聯(lián)合概率密度函數(shù)是各自概率密度函數(shù)的乘積，這表明兩個變量是獨立的。這個獨立性反映在我們的協(xié)方差矩陣中，就是只有對角線元素不為零，兩個變量是獨立的，所以聯(lián)合概率密度可以表示為兩個變量概率密度的乘積。

二維高斯分布函數(shù)圖像

我們看相互獨立的兩個變量的二維高斯分布圖像在XoY平面投影的函數(shù)表達式

令：

得:

顯然這是一個橢圓曲線的表達式。

我們看兩種情況，一種協(xié)方差矩陣是對角陣（變量相互獨立），另一種是協(xié)方差矩陣是非對角陣（變量有關聯(lián)）。

• 如果高斯隨機向量具有對角線的協(xié)方差矩陣（所有變量都是不相關的，那么概率密度函數(shù)曲面在X0Y投影的橢圓曲線的兩個軸平行于坐標軸。

• 如果高斯隨機向量的協(xié)方差矩陣是非對角陣（一些變量是相關的），那么概率密度函數(shù)曲面在X0Y投影的橢圓曲線的兩個軸仍然是相互重直，但與坐標軸并不平行。

我們用matlab來形象展示一下：

下圖是兩個變量的均值都是零，協(xié)方差矩陣為：

其三維曲面如下：

在XOY平面的投影如下：

本文主要講解了協(xié)方差矩陣及其在高斯分布中意義和用法。協(xié)方差矩陣在高斯過程中有著非常重要的意義，如果不能很好的理解協(xié)方差矩陣，就不能很好的理解高斯過程。