|
過擬合的原因往往是： 1訓(xùn)練數(shù)據(jù)不足，訓(xùn)練數(shù)據(jù)無法對整個數(shù)據(jù)的分布進行估計的時候 2訓(xùn)練過度 ，導(dǎo)致模型過擬合 1：數(shù)據(jù)集擴增 幾種方法，采集更多的數(shù)據(jù) 復(fù)制原有的數(shù)據(jù)，加速噪聲 重采樣 生成已有模型的分布，產(chǎn)生更多數(shù)據(jù)。（比如假設(shè)數(shù)據(jù)服從高斯分布，那么就根據(jù)現(xiàn)有數(shù)據(jù)估計高斯分布的參數(shù)，然后產(chǎn)生更多的數(shù)據(jù)） 2：early-stopping 對模型進行訓(xùn)練的過程往往是一個對模型更新的過程，這個過程往往是一個迭代的過程。在這個迭代的過程中，如果當(dāng)?shù)淮未螖?shù)，validation accuracy 不在變化時，那就就及時的停止模型的訓(xùn)練。 3：正則化 使用L1，L2，Elastic net 等正則化方法。 4：DropOut 神經(jīng)網(wǎng)絡(luò)中的方法 |
|
|
來自： 公彥棟 > 《機器學(xué)習(xí)》
