• <listing id="ou7nq"></listing>
  • <small id="ou7nq"><menu id="ou7nq"></menu></small>

      <listing id="ou7nq"></listing>

  • 當前位置:首頁 > IT技術

    權重衰減系數

    時間:2019-10-24 02:42:14來源:IT技術作者:seo實驗室小編閱讀:75次「手機版」
     

    權重系數

    1. 權重衰減(weight decay)

    L2正則化的目的就是為了讓權重衰減到更小的值,在一定程度上減少模型過擬合的問題,所以權重衰減也叫L2正則化。

    1.1 L2正則化與權重衰減系數

    L2正則化就是在代價函數后面再加上一個正則化項:

    其中C0代表原始的代價函數,后面那一項就是L2正則化項,它是這樣來的:所有參數w的平方的和,除以訓練集的樣本大小n。λ就是正則項系數,權衡正則項與C0項的比重。另外還有一個系數1/2,1/2 1/211經常會看到,主要是為了后面求導的結果方便,后面那一項求導會產生一個2,與1/2相乘剛好湊整為1。系數λ就是權重衰減系數。

    1.2 為什么可以對權重進行衰減

    我們對加入L2正則化后的代價函數進行推導,先求導:

    可以發現L2正則化項對b的更新沒有影響,但是對于w的更新有影響:

    在不使用L2正則化時,求導結果中w前系數為1,現在w前面系數為1-ηλ/n,因為η、λ、n都是正的,所以1-ηλ/n小于1,它的效果是減小w,這也就是權重衰減(weight decay)的由來。當然考慮到后面的導數項,w最終的值可能增大也可能減小。

    另外,需要提一下,對于基于Mini-BATch的隨機梯度下降,w和b更新的公式跟上面給出的有點不同:

    對比上面w的更新公式,可以發現后面那一項變了,變成所有導數加和,乘以η再除以m,m是一個mini-batch中樣本的個數。

    1.3 權重衰減(L2正則化)的作用

    作用:權重衰減(L2正則化)可以避免模型過擬合問題。

    思考:L2正則化項有讓w變小的效果,但是為什么w變小可以防止過擬合呢?

    原理:(1)從模型的復雜度上解釋:更小的權值w,從某種意義上說,表示網絡的復雜度更低,對數據的擬合更好(這個法則也叫做奧卡姆剃刀),而在實際應用中,也驗證了這一點,L2正則化的效果往往好于未經正則化的效果。(2)從數學方面的解釋:過擬合的時候,擬合函數的系數往往非常大,為什么?如下圖所示,過擬合,就是擬合函數需要顧忌每一個點,最終形成的擬合函數波動很大。在某些很小的區間里,函數值的變化很劇烈。這就意味著函數在某些小區間里的導數值(絕對值)非常大,由于自變量值可大可小,所以只有系數足夠大,才能保證導數值很大。而正則化是通過約束參數的范數使其不要太大,所以可以在一定程度上減少過擬合情況。

    2. 學習率衰減(learning rate decay)

    在訓練模型的時候,通常會遇到這種情況:我們平衡模型的訓練速度和損失(loss)后選擇了相對合適的學習率(learning rate),但是訓練集的損失下降到一定的程度后就不在下降了,比如training loss一直在0.7和0.9之間來回震蕩,不能進一步下降。如下圖所示:

    遇到這種情況通??梢酝ㄟ^適當降低學習率(learning rate)來實現。但是,降低學習率又會延長訓練所需的時間。

    學習率衰減(learning rate decay)就是一種可以平衡這兩者之間矛盾的解決方案。學習率衰減的基本思想是:學習率隨著訓練的進行逐漸衰減。

    學習率衰減基本有兩種實現方法:

    線性衰減。例如:每過5個epochs學習率減半。

    指數衰減。例如:隨著迭代輪數的增加學習率自動發生衰減,每過5個epochs將學習率乘以0.9998。具體算法如下:

    decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)

    其中decayed_learning_rate為每一輪優化時使用的學習率,learning_rate為事先設定的初始學習率,decay_rate為衰減系數,decay_steps為衰減速度。

    Reference:

    (1)學習率衰減部分內容和圖片來自:學習率衰減(learning rate decay)

    (2)神經網絡學習率(learning rate)的衰減

    文章最后發布于: 2019-05-31 20:18:04

    相關閱讀

    用生意參謀看店鋪權重和提升權重的方法

    對于一個淘寶新手來說,在學習的過程中“權重”這個詞肯定不會感到陌生,權重能給一款寶貝帶來大量的流量,同時又是免費的。他既重要又

    淘寶長圖加權重嗎?有什么用?

    影響淘寶權重的因素非常之多,想提升權重非常困難,很多朋友都在咨詢淘寶長圖是否可以增加權重,為了盡快的回復大家的問題,小編收集了很

    權重傳遞與網站說明的關系。如何跟百度說明網站是性質

    在綠蘿算法出來之前,很多做SEO的朋友都知道在做外鏈的時候發現多做關鍵詞錨文本是可以把網站這一個詞語排名提高上來,所以那時候流

    手淘拍立淘有權重嗎?如何應用拍立淘?

    拍立淘是手機淘寶上用圖片搜索商品的一個功能,簡單點來說就是拍照購物,拍入你所想要的照片或者插入你想要的照片就可以搜索商品,比如

    亞馬遜分類目錄提交網站教程 提升網站權重

    亞馬遜分類目錄是國際高權重的分類目錄網站,全人工編輯的專業分類目錄網站,收錄國內外,各行業優秀網站。所以我們在亞馬遜分類目錄

    分享到:

    欄目導航

    推薦閱讀

    熱門閱讀

    456棋牌游戏下载