提供新的保護思路！字節跳動隱私保護論文入選NeurIPS 2020 聯邦學習Workshop

　　摘要：字節跳動在隱私保護上的最新研究，有利于打消聯邦學習上對標簽數據安全的顧慮，進一步推動隱私計算的發展。

　　第三十四屆神經信息處理系統大會(Conference and Workshop on Neural Information Processing Systems，以下將簡稱 NeurIPS 2020)，于2020年12月中旬在線上舉行。在本屆會議上，字節跳動聯邦學習隱私保護最新研究論文被 NeurIPS 2020 的聯邦學習 Workshop 接收，并進行了線上分享。

　　NeurIPS 作為機器學習和計算神經科學領域的國際頂級會議，由 NeurIPS 基金會主辦，每年固定在12月舉行。NeurIPS旨在促進有關神經信息處理系統的研究交流，在同行會議上介紹和討論新穎的研究。在中國計算機學會的國際學術會議排名中，NeurIPS 為人工智能領域的A類會議 。

　　自歐盟2018年出臺《通用數據保護條例》(GDPR)以及國內涉及數據隱私的法律法規逐步開始建立后，聯邦學習逐漸成為保護數據隱私的一個利器。它可以在雙方不公開各自隱私數據的情況下，實現機器學習模型的協同訓練，因此受到了越來越多企業的關注，產生了很多落地應用。在這個背景下，NeurIPS 2020 設置了聯邦學習的Workshop，邀請全球聯邦學習行業專家探討聯邦學習的擴展性、隱私性和安全性。

　　由于擁有海量的用戶數據，字節跳動深知用戶數據安全保護的重要性，為提升用戶的信任度，尋求建立開放透明的平臺，字節跳動一直在聯邦學習領域持續投入資源進行研究和探索，先后在電商、金融、教育等多個行業場景進行了落地應用，并于2020年初開源了自研的聯邦學習平臺Fedlearner(項目地址：https://github.com/bytedance/fedlearner)。

　　NeurIPS 2020聯邦學習Workshop上，字節跳動應用機器學習團隊分享了在用戶標簽數據安全上的最新研究論文《Label Leakage and Protection in Two-party Split learning》。

　　《Label Leakage and Protection in Two-party Split learning》論文海報

　　論文分享了縱向聯邦學習中隱私標簽數據保護的新方案——通過理論分析，對所添加的擾動進行約束優化，幫助聯邦學習在效用和隱私間取得更好的平衡。具體則是對聯邦學習過程中雙方所交互的梯度進行分析，提出了一種基于梯度范數的推測標簽信息的高效攻擊方法，隨后創新性地提出了在所交互的梯度上添加擾動的保護方法。

　　字節跳動應用機器學習團隊研究員孫建凱稱，大量的實驗表明，在梯度范數攻擊中，論文所提的標簽數據保護算法，能夠將標簽泄露的AUC從接近于1.0 (1.0屬于完全泄漏)降低至0.5-0.6之間(0.5是屬于完全保護)，而模型的預測效果受到的影響相對較小。

　　孫建凱指出，雖然存在他們目前沒有想到的其它攻擊方法來竊取用戶標簽數據，但是通過論文中提到的方法，即使在面對未知的攻擊方法時，也能最大程度保護標簽數據，防止數據泄露。

　　由于聯邦學習能夠有效解決數據孤島問題，讓參與方在不共享數據的基礎上聯合建模，挖掘數據價值，因此國內外眾多一線互聯網公司紛紛投入研究和應用。標簽作為價值很高的一類數據類型，吸引了眾多行業人士不斷思考和探索如何在聯邦學習的框架下對其進行最大程度地保護。字節跳動在交互梯度上提出添加智能擾動的方法，則在一定程度上解決了標簽數據安全性的問題，消除了大家的擔憂，有利于進一步推動聯邦學習應用，讓數據發揮更大的價值。

　　為了讓更多企業和開發者受益，目前字節跳動在隱私保護上的最新理論研究已經落地，相應算法(https://github.com/bytedance/fedlearner/tree/master/example/privacy/label_protection)已經合并到字節跳動開源的聯邦學習框架Fedlearner中。

　　字節跳動聯邦學習技術負責人吳迪在接受采訪時表示 ：“希望我們的最新研究，能為企業在應用聯邦學習保護用戶數據安全上提供更多的選擇，同時也希望為聯邦學習進一步規模化應用盡一份力，共同推動隱私計算的發展。”