TensorFlow實(shí)現(xiàn)指數(shù)衰減學(xué)習(xí)率的方法
在TensorFlow中,tf.train.exponential_decay函數(shù)實(shí)現(xiàn)了指數(shù)衰減學(xué)習(xí)率,通過(guò)這個(gè)函數(shù),可以先使用較大的學(xué)習(xí)率來(lái)快速得到一個(gè)比較優(yōu)的解,然后隨著迭代的繼續(xù)逐步減小學(xué)習(xí)率,使得模型在訓(xùn)練后期更加穩(wěn)定。
tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase, name)函數(shù)會(huì)指數(shù)級(jí)地減小學(xué)習(xí)率,它實(shí)現(xiàn)了以下代碼的功能:
#tf.train.exponential_decay函數(shù)可以通過(guò)設(shè)置staircase參數(shù)選擇不同的學(xué)習(xí)率衰減方式
#staircase參數(shù)為False(默認(rèn))時(shí),選擇連續(xù)衰減學(xué)習(xí)率:
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step / decay_steps)
#staircase參數(shù)為True時(shí),選擇階梯狀衰減學(xué)習(xí)率:
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step // decay_steps)
①decayed_leaming_rate為每一輪優(yōu)化時(shí)使用的學(xué)習(xí)率;
②leaming_rate為事先設(shè)定的初始學(xué)習(xí)率;
③decay_rate為衰減系數(shù);
④global_step為當(dāng)前訓(xùn)練的輪數(shù);
⑤decay_steps為衰減速度,通常代表了完整的使用一遍訓(xùn)練數(shù)據(jù)所需要的迭代輪數(shù),這個(gè)迭代輪數(shù)也就是總訓(xùn)練樣本數(shù)除以每一個(gè)batch中的訓(xùn)練樣本數(shù),比如訓(xùn)練數(shù)據(jù)集的大小為128,每一個(gè)batch中樣例的個(gè)數(shù)為8,那么decay_steps就為16。
當(dāng)staircase參數(shù)設(shè)置為True,使用階梯狀衰減學(xué)習(xí)率時(shí),代碼的含義是每完整地過(guò)完一遍訓(xùn)練數(shù)據(jù)即每訓(xùn)練decay_steps輪,學(xué)習(xí)率就減小一次,這可以使得訓(xùn)練數(shù)據(jù)集中的所有數(shù)據(jù)對(duì)模型訓(xùn)練有相等的作用;當(dāng)staircase參數(shù)設(shè)置為False,使用連續(xù)的衰減學(xué)習(xí)率時(shí),不同的訓(xùn)練數(shù)據(jù)有不同的學(xué)習(xí)率,而當(dāng)學(xué)習(xí)率減小時(shí),對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)對(duì)模型訓(xùn)練結(jié)果的影響也就小了。
接下來(lái)看一看tf.train.exponential_decay函數(shù)應(yīng)用的兩種形態(tài)(省略部分代碼):
①第一種形態(tài),global_step作為變量被優(yōu)化,在這種形態(tài)下,global_step是變量,在minimize函數(shù)中傳入global_step將自動(dòng)更新global_step參數(shù)(global_step每輪迭代自動(dòng)加一),從而使得學(xué)習(xí)率也得到相應(yīng)更新:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
import tensorflow as tf . . . #設(shè)置學(xué)習(xí)率 global_step = tf.Variable(tf.constant( 0 )) learning_rate = tf.train.exponential_decay( 0.01 , global_step, 16 , 0.96 , staircase = True ) #定義反向傳播算法的優(yōu)化方法 train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy, global_step = global_step) . . . #創(chuàng)建會(huì)話 with tf.Session() as sess: . . . for i in range (STEPS): . . . #通過(guò)選取的樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)并更新參數(shù) sess.run(train_step, feed_dict = {x:X[start:end], y_:Y[start:end]}) . . . |
②第二種形態(tài),global_step作為占位被feed,在這種形態(tài)下,global_step是占位,在調(diào)用sess.run(train_step)時(shí)使用當(dāng)前迭代的輪數(shù)i進(jìn)行feed:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
import tensorflow as tf . . . #設(shè)置學(xué)習(xí)率 global_step = tf.placeholder(tf.float32, shape = ()) learning_rate = tf.train.exponential_decay( 0.01 , global_step, 16 , 0.96 , staircase = True ) #定義反向傳播算法的優(yōu)化方法 train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy) . . . #創(chuàng)建會(huì)話 with tf.Session() as sess: . . . for i in range (STEPS): . . . #通過(guò)選取的樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)并更新參數(shù) sess.run(train_step, feed_dict = {x:X[start:end], y_:Y[start:end], global_step:i}) . . . |
總結(jié)
以上所述是小編給大家介紹的TensorFlow實(shí)現(xiàn)指數(shù)衰減學(xué)習(xí)率的方法,希望對(duì)大家有所幫助!