小紅書提出創新框架:充分利用負樣本提升大語言模型推理能力

　　在AAAI2024上，小紅書搜索算法團隊推出了一項創新框架，旨在解決大語言模型(LLMs)在推理任務中的黑盒屬性和龐大參數量帶來的問題。傳統研究方法主要關注正樣本，而這項工作強調了負樣本在知識蒸餾中的價值。通過負向協助訓練(NAT)、負向校準增強(NCE)和動態自洽性(ASC)等序列化步驟，他們構建了一個全方位利用負樣本的模型專業化框架。

　　首先，他們提出了負向協助訓練(NAT)方法，通過設計dual-LoRA結構，從正向和負向兩方面獲取知識。這一步驟在訓練中動態地集成正、負LoRA模塊的知識，以構建更全面的推理能力。其次，他們設計了負向校準增強(NCE)，利用負知識來幫助自我增強過程，通過KL散度來度量正、負推理鏈路之間的不一致性，以選擇性地學習和增強嵌入的知識。

　　除了訓練階段，他們還在推理過程中利用負向信息，提出了動態自洽性(ASC)方法，通過排序模型在正、負樣本上進行訓練，為正確答案的推理鏈路分配更高的權重。整體來說，這一框架通過充分挖掘負樣本的寶貴信息，使得小模型能夠更有效地進行復雜的算術推理，從而在實際應用中更廣泛地部署大語言模型的推理能力。

　　這一研究為提高大語言模型應用性能提供了新思路，通過引入負樣本的知識，彌補了傳統研究方法的不足，為推理任務的應用提供了更可靠和高效的解決方案。