近日,上海交通大學李健教授團隊依托上海交通大學鯤鵬昇騰科教創新卓越中心的算力支持,基于vLLM-Ascend推理框架研發出一套針對超長上下文推理的稀疏注意力KVCache分層緩存管理系統。在昇騰AI軟硬件平臺的全方位賦能下,該項目成功破解單卡支持超長上下文推理的顯存與性能雙重難題,同時大幅提升吞吐量。
IT產業網 2025/11/26 16:33 上交大 昇騰 鯤鵬昇騰科教創新卓越中心
關于我們┊聯系我們┊友情鏈接┊網站地圖┊內容聯系┊最新報道┊法律聲明
專注IT產業報道,IT產業網 IT產業生態價值發現平臺|IT榜單|IT活動|IT峰會|IT直播
風險提示:文章內容僅供閱讀,不構成投資建議,請謹慎對待。
IT產業網&m.dengjingze10.com © 2016-2024