cv BatchNorm學習筆記

2022-09-23 10:07:00 字數 444 閱讀 8595

在兩層深度網路中,作為第二層的輸入的第一層輸出會被引數影響從而無法保持穩定的分佈,影響學習效果,導致不能設定較大的學習率以及需要精巧的初始化手段

我們把這個問題叫做內部協變數偏移

傳統手段:白化,但是會帶來梯度**的問題,因為偏移b無法影響白化後的輸入值,即b可能朝著一個方向無限增大或減小,但是不影響白化後的輸入值x,這就導致了梯度**

傳統白化手段的問題在於沒有考慮整個輸入資料集,求解對應的jacobians需要計算x與整個資料集的偏導數

演算法1

反向傳播:

在使用bn層可以替代dropout的作用