5月16日消息,隨著深度學習技術的爆炸性發展,很多企業、開發者都發表了自己的研究論文,展示最新取得的不俗成績。但是在實際使用時,很可能遇到模型大小方面的問題。Google近日公開了自家全新ML模型壓縮技術Learn2Compress。
該技術能為開發的深度學習模型變得更為輕量化,并在移動設備上去執行。Learn2Compress將NN模型壓縮為輸入一個大型的TF模型,自動生成隨時可用的設備模型。
對于Learn2Compress技術的本質,谷歌提了如下三點:
·通過除無意義的權重和激活來減少模型的大小;
·通過減少模型中使用的位數來提高推理速度;
·聯合訓練和精餾方法策略,老師網絡是一個給定的模型,學生網絡是被壓縮的,這些模型很窄,有助于我們顯著減輕計算負擔,此外還能夠同時訓練不同規模的學生網絡。
結果就是Learn2Compress效果非常好,可以更快更小地生成模型,有時甚至超過了給定的模型。
行業資訊、企業動態、業界觀點、峰會活動可發送郵件至news#citmt.cn(把#換成@)。
海報生成中...