有時候使用Pytorch訓練完模型,在測試數據上面得到的結果令人大跌眼鏡。
這個時候需要檢查一下定義的Model類中有沒有 BN 或 Dropout 層,如果有任何一個存在
那么在測試之前需要加入一行代碼:
#model是實例化的模型對象
model = model.eval()
表示將模型轉變?yōu)閑valuation(測試)模式,這樣就可以排除BN和Dropout對測試的干擾。
因為BN和Dropout在訓練和測試時是不同的:
對于BN,訓練時通常采用mini-batch,所以每一批中的mean和std大致是相同的;而測試階段往往是單個圖像的輸入,不存在mini-batch的概念。所以將model改為eval模式后,BN的參數固定,并采用之前訓練好的全局的mean和std;
對于Dropout,訓練階段,隱含層神經元先乘概率P,再進行激活;而測試階段,神經元先激活,每個隱含層神經元的輸出再乘概率P。
如下圖所示:

補充:pytorch中model.eval之后是否還需要model.train的問題
答案是:需要的
正確的寫法是

for循環(huán)之后再開啟train,
循環(huán)之后的評估m(xù)odel.eval之后就會再次回到model.train
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
您可能感興趣的文章:- 聊聊pytorch測試的時候為何要加上model.eval()
- pytorch:model.train和model.eval用法及區(qū)別詳解
- 解決BN和Dropout共同使用時會出現的問題