最近,螞蟻開源了兩項與大模型相關的新技術:ATorch 和 Lookahead。
ATorch 是一個大模型分布式訓練加速擴展庫,可實現深度學習自動資源動態優化和分布式訓練穩定性提升,可提升深度學習的智能性,千億模型千卡級別訓練的算力利用率可達60%。
Lookahead 是一個推理加速框架,可以大幅提升大模型的推理效率,可將推理加速2-6倍。
ATorch 采用了分層架構設計,功能清晰、設計全面,為開發者提供極致精簡的開發體驗。作為 PyTorch 框架的高性能擴展加速庫,ATorch 最少化用戶代碼侵入,為千億參數大模型千卡級訓練提供易用的高性能方案。在實踐中,ATorch 已經在多個開源模型的訓練優化實踐中表現出色,將算力利用率提升了很多,并且穩定性也得到了顯著提升。ATorch 已集成到螞蟻集團的大模型訓練開源產品 DLRover 中,讓大模型開發者能夠更專注于模型架構的設計,而無需處理工程方面的細節。
Lookahead 是一個推理加速框架,可以將推理加速2-6倍。通過采用多分支策略,Lookahead 能夠在一次前向過程中生成更多的 Token,進一步壓榨硬件性能。此外,Lookahead 還利用 trie 樹存儲和檢索 Token 序列,并合并多條草稿中相同的父節點,提高計算效率。為了提高易用性,Lookahead 的 trie 樹構建不依賴額外的草稿模型,只利用推理過程中的 prompt 及生成的回答進行動態構建,降低了用戶的接入成本。
行業資訊、企業動態、業界觀點、峰會活動可發送郵件至news#citmt.cn(把#換成@)。
海報生成中...