生成對抗網(wǎng)絡(luò)訓(xùn)練心得
a. 調(diào)節(jié)Generator loss中GAN loss的權(quán)重。 G loss和Gan loss在一個尺度上或者G loss比Gan loss大一個尺度。但是千萬不能讓Gan loss占主導(dǎo)地位, 這樣整個網(wǎng)絡(luò)權(quán)重會被帶偏。
b. 調(diào)節(jié)Generator和Discrimnator的訓(xùn)練次數(shù)比。一般來說，Discrimnator要訓(xùn)練的比Genenrator多。比如訓(xùn)練五次Discrimnator，再訓(xùn)練一次Genenrator(WGAN論文 是這么干的)。
c. 調(diào)節(jié)learning rate，這個學(xué)習(xí)速率不能過大。一般要比Genenrator的速率小一點。
d. Optimizer的選擇不能用基于動量法的，如Adam和momentum。可使用RMSProp或者SGD。
e. Discrimnator的結(jié)構(gòu)可以改變。如果用WGAN，判別器的最后一層需要去掉sigmoid。但是用原始的GAN，需要用sigmoid，因為其loss function里面需要取log，所以值必須在[0,1]。這里用的是鄧煒的critic模型當(dāng)作判別器。之前twitter的論文里面的判別器即使去掉了sigmoid也不好訓(xùn)練。
f. Generator loss的誤差曲線走向。因為Generator的loss定義為：
G_loss = -tf.reduce_mean(D_fake)
Generator_loss = gen_loss + lamda*G_loss
其中g(shù)en_loss為Generator的loss，G_loss為Discrimnator的loss，目標(biāo)是使Generator_loss不斷變小。所以理想的Generator loss的誤差曲線應(yīng)該是不斷往0靠的下降的拋物線。
g. Discrimnator loss的誤差曲線走向。因為Discrimnator的loss定義為：
D_loss = tf.reduce_mean(D_real) - tf.reduce_mean(D_fake)
這個是一個和Generator抗衡的loss。目標(biāo)就是使判別器分不清哪個是生成器的輸出哪個是真實的label。所以理想的Discrimnator loss的誤差曲線應(yīng)該是最終在0附近振蕩，即傻傻分不清。換言之，就是判別器有50%的概率判斷你是真的，50%概率判斷你是假的。
h. 之前的想法是就算判別器不訓(xùn)練，那么它判斷這個圖片是真是假的概率都是50%，那D_loss = tf.reduce_mean(D_real) - tf.reduce_mean(D_fake)不就已經(jīng)在0附近了嗎？
其實不是這樣的。如果是wgan的話，判別器的輸出是一個負(fù)無窮到正無窮的數(shù)值，那么要讓它對兩個不同的輸入產(chǎn)生相似的輸出是很難的。同理，對于gan的話，判別器的輸出是介于[0,1]之間的，產(chǎn)生兩個相似的輸出也是很困難的。如果判別器的輸出是0或者1的話，那就是上面說的情況。所以，網(wǎng)絡(luò)要經(jīng)過學(xué)習(xí)，使得 輸出盡可能相似，那就達(dá)到了傻傻分不清的狀態(tài)了。
密戰(zhàn)觀后感 保密工作心得體會
事以密成, 事以密成,語以泄敗 ——觀電視劇《密戰(zhàn)》 ——觀電視劇《密戰(zhàn)》后有感 觀電視劇最近我認(rèn)真觀看了以保密為題材的電視連續(xù)劇《密戰(zhàn)》《密戰(zhàn)》主要講述了 。 安全局偵破境外間諜組織竊取中國“星訊六號”衛(wèi)星設(shè)計方案的故事。 劇中匯集了 現(xiàn)代諜戰(zhàn)的新特點和新手段, 高科技對抗部分所涉及的竊聽、 解...
小學(xué)語文學(xué)習(xí)的總結(jié)
我在學(xué)生進(jìn)行了有鋪墊作用的訓(xùn)練之后, 尋找出一般的規(guī)律, 然后讓學(xué)生自己嘗試練習(xí)。在順應(yīng)了學(xué)生喜歡表現(xiàn)自我的心理發(fā)展特點上提高創(chuàng)造的能力, 如指導(dǎo)學(xué)生嘗試編兒歌、 猜謎語、 編手抄報、編課本劇等。學(xué)生在嘗試過程中體會到了成功的樂趣。 3、表演。 學(xué)生天性好動, 喜愛表演。 我有時將約定俗成的成語讓學(xué)生...
如何強迫自己變自律
強迫自己自律的方式：1、做到自律的關(guān)鍵是在于你要相信你自己，這一個信念開始會影響我們的行動。2、學(xué)會合理地分配好自己的時間，自律的本質(zhì)是為了提高效率。3、走出自己的舒適圈，給自己定一個目標(biāo)4、鍛煉自己的意志力。不要輕言放棄。
物流實訓(xùn)總結(jié)和體會精選3篇
其實大部分人并沒有掌握很熟練的寫作經(jīng)驗,我們可以多多向網(wǎng)絡(luò)范文尋求借鑒,認(rèn)真鑒賞范文,可以大大縮減我們后面寫作的時間,范文應(yīng)該出現(xiàn)在大眾的眼中嗎?以下是為大家收集的“物流實訓(xùn)總結(jié)和體會”請馬上收藏本頁,以方便再次閱讀! 物流實訓(xùn)總結(jié)和體會 篇1 在本學(xué)期第九周的時候我們在4—206實訓(xùn)室在進(jìn)行了為期四課時的...
軍訓(xùn)心得1000字
正是由于此，從古至今，才會有那么多的文人騷客，給我們留下了“風(fēng)雨后見彩虹”的感受。軍訓(xùn)雖苦，卻受益無窮。在紋絲不動的站立軍姿時，我們學(xué)會了堅持與毅力;在不斷糾正自己錯誤動作的過程中，我們學(xué)會了刻苦鉆研;軍訓(xùn)訓(xùn)練中，我們領(lǐng)會了嚴(yán)于律己，遵守紀(jì)律……軍訓(xùn)是無聲的老師，它培育了我們優(yōu)良的...
關(guān)于小學(xué)生家庭教育心得體會【三篇】
我們在家都喜歡學(xué)習(xí)并能長期堅持,不管書本知識還是網(wǎng)絡(luò)知識,我們有意識地在家中營造一種濃厚的學(xué)習(xí)氛圍,如多讀書多看報,這樣對孩子起到了潛移默化地作用。并努力給孩子創(chuàng)造一個學(xué)習(xí)小天地,使孩子感受到讀書是種享受。同時,我們注重培育和塑造孩子的健康心理和健全人格。尤其在孩子遇到困惑、挫折及犯了錯誤時,及時與...
家校共育大課堂觀后感簡短
我們在家都喜愛學(xué)習(xí)并能長期堅持,不管書本知識還是網(wǎng)絡(luò)知識,我們有意識地在家中營造一種濃厚的學(xué)習(xí)氛圍,如多讀書多看報,這樣對孩子起到了潛移默化地作用。并努力給孩子創(chuàng)新一個學(xué)習(xí)小乾坤,使孩子感受到讀書是種享受。同時,我們注重培育和塑造孩子的健康心理和健全人格。尤其在孩子遇到困惑挫折及犯了錯誤時,及時與...
醫(yī)學(xué)生醫(yī)院學(xué)習(xí)心得體會
不善于與人接處是我的一大弱點,那種膽怯與不自然會使我失去很多的學(xué)習(xí)機會,由于我的自卑,不主動而沒有得到相應(yīng)的操作訓(xùn)練,這樣的現(xiàn)實冷不丁給我潑了一身冷水,是一名本科生,做起事來應(yīng)該是得心應(yīng)手才是,但我卻,做事畏首畏尾,前怕狼后怕虎,不敢大膽嘗試才鑄成我的不知進(jìn)取,好在我有一名耐心十足的老師,...
可解性的安全 --- 基礎(chǔ)知識入門(深度)
神經(jīng)網(wǎng)絡(luò)修剪（Pruning）、訓(xùn)練量化和權(quán)重共享（Trained Quantization And Weight Sharing）以及霍夫曼編碼（Huffman Coding）等技術(shù)可以在保持精度不損失的情況下，降低神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。在壓縮后的神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用時，有研究發(fā)現(xiàn)壓縮之后的神經(jīng)網(wǎng)絡(luò)模型更容易被對抗性地攻擊。因此，研究被壓縮\/量化之后...
教師教學(xué)工作個人總結(jié)范文(5篇)
從20__年9月分配到__學(xué)區(qū)任教以來,不知不覺,一年的時間彈指而過,回顧這個學(xué)年的教學(xué)工作,我完成了從學(xué)生變?yōu)榻處熯@一主角的轉(zhuǎn)變,深刻體會到了做教師的艱辛和歡樂,我愿意將自我的青春傾注于鐘愛的教育事業(yè)上,傾注于每一個可愛的孩子身上。一個學(xué)年的工作已經(jīng)結(jié)束,我收獲頗豐,特作如下總結(jié),取長補短,為新學(xué)年的...
相關(guān)評說：
長豐縣正平： ______ 不扣費的 成功取消的業(yè)務(wù)從下月起就不再收取費用 這個月退訂所以這個月也不用收取 三天內(nèi)退訂就是
長豐縣正平： ______ 絕經(jīng)后循環(huán)雄激素減少,雄烯二酮每日生成率為1.6 mg,為絕經(jīng)前的50%,睪 酮輕度降低,睪酮生成率約為150 Ltg/24 h,僅較年輕者低1/3.絕經(jīng)后婦女的睪酮、雄烯二酮...
長豐縣正平： ______ KeyAscii=13 回車的掃描碼是13 用這段代碼可以看所有的KeyAscii Private Sub Form_KeyPress(KeyAscii As Integer) Print KeyAscii End Sub
長豐縣正平： ______ 個人中心和知識人問答版塊的昵稱需要分別修改. 新版?zhèn)€人中心修改昵稱的方法: 登錄到個人中心的個人管理--修改個人資料--修改昵稱后保存就可以了. 知識人問答版塊修改昵稱的方法(需要在老版?zhèn)€人中心進(jìn)行 ): 個人信息設(shè)置--信息修改--修改昵稱的確定即可.
長豐縣正平： ______ 暴風(fēng)影音沒有亮度調(diào)節(jié)菜單,這是很多人“強烈不滿”的一點.實際上,這是因為暴... FFDSHOW會在系統(tǒng)托盤內(nèi)生成圖標(biāo),用戶只需要雙擊該圖標(biāo)就可以快速打開...
長豐縣正平： ______ (1)企業(yè)要講究信譽.企業(yè)在與銀行的交往中,要使銀行對貸款的安全性絕對放心.如何使銀行對企業(yè)放心呢? 首先,企業(yè)要注意抓好資金的日常管理.因為銀行在對企業(yè)...
長豐縣正平： ______ 到黨山菜市場,做736到底站蕭山汽車站,再做700到市心廣場,神龍飛揚就在郵電對面
長豐縣正平： ______ 一、預(yù)防病毒措施 由于網(wǎng)絡(luò)是一個互聯(lián)的整體,再加上病毒通過網(wǎng)絡(luò)傳播的頻繁,因此網(wǎng)絡(luò)時代的防毒個人客戶端、服務(wù)器加強防毒意識同等重要. 個人防毒 1、慎用軟...
