婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > PyTorch dropout設置訓練和測試模式的實現

PyTorch dropout設置訓練和測試模式的實現

熱門標簽:河北防封卡電銷卡 天津電話機器人公司 電銷機器人的風險 地圖標注線上如何操作 開封語音外呼系統代理商 應電話機器人打電話違法嗎 開封自動外呼系統怎么收費 手機網頁嵌入地圖標注位置 400電話辦理哪種

看代碼吧~

class Net(nn.Module):
…
model = Net()
…
model.train() # 把module設成訓練模式,對Dropout和BatchNorm有影響
model.eval() # 把module設置為預測模式,對Dropout和BatchNorm模塊有影響

補充:Pytorch遇到的坑——訓練模式和測試模式切換

由于訓練的時候Dropout和BN層起作用,每個batch BN層的參數不一樣,dropout在訓練時隨機失效點具有隨機性,所以訓練和測試要區分開來。

使用時切記要根據實際情況切換:

model.train()
model.eval()

補充:Pytorch在測試與訓練過程中的驗證結果不一致問題

引言

今天在使用Pytorch導入此前保存的模型進行測試,在過程中發現輸出的結果與驗證結果差距甚大,經過排查后發現是forward與eval()順序問題。

現象

此前的錯誤代碼是

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    model.eval()
    model.forward()

應該改為

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    # 先forward再eval
    model.forward()
    model.eval()

當時有個疑慮,為什么要在forward后面再加eval(),查了下相關資料,主要是在BN層以及Dropout的問題。當使用eval()時,模型會自動固定BN層以及Dropout,選取訓練好的值,否則則會取平均,可能導致生成的圖片顏色失真。

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • pytorch Dropout過擬合的操作
  • 淺談pytorch中的dropout的概率p
  • PyTorch 實現L2正則化以及Dropout的操作
  • pytorch 實現在測試的時候啟用dropout
  • pytorch 中nn.Dropout的使用說明
  • Pytorch之如何dropout避免過擬合

標簽:常州 宿遷 駐馬店 蘭州 江蘇 山東 成都 六盤水

巨人網絡通訊聲明:本文標題《PyTorch dropout設置訓練和測試模式的實現》,本文關鍵詞  PyTorch,dropout,設置,訓練,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《PyTorch dropout設置訓練和測試模式的實現》相關的同類信息!
  • 本頁收集關于PyTorch dropout設置訓練和測試模式的實現的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 乌兰察布市| 康保县| 凉山| 托克逊县| 青川县| 安西县| 泽州县| 六枝特区| 临漳县| 涪陵区| 建瓯市| 沙坪坝区| 阿鲁科尔沁旗| 康保县| 锡林浩特市| 万州区| 玛曲县| 车险| 太谷县| 棋牌| 德格县| 南投市| 阳西县| 云安县| 建昌县| 安达市| 都江堰市| 阿勒泰市| 吉安市| 丹凤县| 青田县| 壤塘县| 枣庄市| 安宁市| 通道| 贺兰县| 金塔县| 澄江县| 永昌县| 茶陵县| 蕲春县|