昆侖芯×飛槳：共創智能計算“芯”生態

　　WAVE SUMMIT 2022深度學習開發者峰會上周圓滿落幕，來自產學研界的專家學者和資深AI工程師在七大平行論壇帶來了精彩的技術分享。 本次峰會專設【智能硬核 生態共創】平行論壇，昆侖芯科技生物計算研發總監鄭煥鑫受邀參會，并進行“昆侖芯×飛槳：共創智能計算‘芯’生態”的主題演講。

　　昆侖芯適配百度飛槳等主流框架，支持推理和訓練場景，生態建設正在逐漸完備，已在豐富的業務場景落地。作為國內人工智能芯片領域的先行者，昆侖芯科技依托團隊多年耕耘芯片和智能計算領域的行業影響力，致力于攜手上下游合作伙伴，打造智能計算“芯”生態。

　　以下內容來自演講實錄：

　　大家好，我是來自昆侖芯科技的鄭煥鑫。

　　昆侖芯科技是一家AI芯片公司，2021年4月完成了獨立融資，首輪估值約130億元。公司前身是百度智能芯片及架構部，在實際業務場景中深耕AI加速領域已十余年，是一家在體系結構、芯片實現、軟件系統和場景應用均有深厚積累的AI芯片企業。

　　昆侖芯科技研發實力雄厚，團隊成員擁有全球頂尖學術背景，并提出了100%自研的通用AI計算處理器核心架構昆侖芯XPU，研究成果也在Hot Chips、ISSCC等國際頂級學術會議中成功發表。

　　在落地實現上，昆侖芯1代在百度搜索引擎、小度等業務中部署超過2萬片，是國內唯一一款經歷過互聯網大規模核心算法考驗的云端AI芯片產品。昆侖芯2代采用7nm制程，也已于2021年8月量產。更先進的昆侖芯3代、自動駕駛芯片等多個產品均已啟動研發。

　　隨著AI越來越普及，其依托的算力需求也越來越大。在這個時代背景下，昆侖芯的愿景是“成為劃時代，全球領先的智能計算公司”，為AI發展提供算力賦能。

　　昆侖芯在AI芯片上經歷了超過10年的發展歷程。我們在2011年啟動FPGA AI加速器項目，到2015年部署5000片，2017年部署超過12000片，是業界最大的量;2017年發布自研架構昆侖芯XPU;2018年啟動昆侖芯;2020年昆侖芯1代大規模部署;2021年昆侖芯2代量產。

　　昆侖芯軟硬件架構及兩代產品

　　不同于GPU的發展歷程，昆侖芯1代在AI發展相對成熟的時候量產，在設計階段就更好地理解了AI場景，提供了更多的加速計算單元，并且保留了足夠的通用計算單元，最終達到了更好的性價比。

　　這是我們的昆侖芯XPU架構：SDNN-軟件定義神經網絡引擎，是我們自研的核心張量計算單元，用于加速卷積和矩陣乘法;Cluster為我們的通用計算部件;我們也是國內業界率先支持GDDR6的廠商之一;我們的Shared Memory片上共享內存，有力保證了計算單元的高并發、低時延訪問;提供高達200GB/s的片間互聯帶寬，有效提升了大規模分布式訓練中的數據傳輸效率，減少通訊延時;支持PCIe第四代接口，雙向帶寬可達到64GB/s。

　　這是我們的軟件架構圖：在應用層，我們支持訓練、推理以及科學計算;在框架層，除了深度合作的PaddlePaddle，還支持TensorFlow，PyTorch等;我們提供了豐富的SDK，包括編輯器、圖引擎、高性能算子庫、高性能通訊庫，以及驅動;在環境部署上，我們支持公有云服務、智算中心、智能邊緣設備等。

　　這是我們的產品研發路線，昆侖芯1代采用14nm工藝，昆侖芯2代采用7nm工藝，此外我們的昆侖芯3代、昆侖芯4代都在研發路徑中。

　　昆侖芯1代產品包括兩種形式，其中K100是K200的算力一半版本，主要用在邊緣端。昆侖芯2代產品中，R200 AI加速卡主要用于推理，支持INT8/INT16/INT32/FP16/FP32等精度，非常值得一提的是昆侖芯R200 AI加速卡支持視頻編解碼能力;R480-X8 AI加速器組是我們的單機8卡訓練方案，提供200GB/s的片間互聯帶寬。

　　概括起來，昆侖芯2代有如下特點：

　　1.通用計算能力顯著增強，可靈活支持AI算法的演進，提升資源投入效用;

　　2.硬件虛擬化，提升AI算力資源的利用率;

　　3.高性能分布式AI系統，加速AI數據并行和模型并行中的高速數據交換。

　　介紹完硬件參數，我們看看昆侖芯的軟件參數。以R200 AI加速卡為例，相比較于業界主流產品，典型AI負載性能提升1.5倍左右，其中GEMM矩陣乘法性能為1.7倍，BERT典型自然語言處理性能加速比為1.4倍。對Transformer類有同樣的效果;Yolov3，Yolov5性能加速1.3倍;ResNet50視覺分類算法加速1.2倍。

　　昆侖芯AI算力賦能千行百業

　　昆侖芯科技前身為百度智能芯片及架構部，天然對互聯網AI應用有深入了解。以百度搜索場景為例，我們實現了過萬片的部署，與飛槳聯合優化模型：DeepFM、Wide&Deep。此外，我們在包括百度在內的多家互聯網公司上均有不錯的落地表現

　　在智能城市領域，萬級別攝像機收集視頻流，通過芯片編解碼獲取圖片，對圖片進行人臉檢索以及比對。該場景主要是以CV類算法為主，我們和飛槳聯合優化模型包括：ResNet50、MobileNet-v3、Unet、Yolov3-DarkNet53、SSD-ResNet34 。

　　工業質檢場景，高清工業相機拍攝零件照片進行質量檢測。搭載國產AI算力機的質檢設備替代人工質檢，大大節省了人力，14個月即可收回成本。同時，“5G+AI+工業互聯網”解決方案大大提高了整廠的智能化水平，幫助企業降低損耗，提升約10%的良品率。在這個方向上，我們和飛槳聯合開發了Yolov3-DarkNet53、SSD-ResNet34。

　　在目前國內前沿的生物計算領域，我們也對基因測序算法Blast以及蛋白質折疊預測算法進行了硬件適配，并取得了不錯的加速比。

　　綜上，我們在互聯網、智慧城市、智慧工業、生物計算、智慧金融、智慧政務、智算中心以及智慧交通等各行業 AI 應用落地場景中均提供了多種解決方案。

　　總結來看，昆侖芯科技最獨特優勢在于：在百度搜索引擎、小度等業務中部署超過2萬片，是國內唯一一款經歷了互聯網大規模核心算法考驗的云端AI芯片，產品的可用性、可靠性、穩定性、魯棒性得到了驗證，也證明了團隊在芯片架構、軟件棧、工程化系統層級的技術實力。此外，昆侖芯靈活支持多個AI場景，如視覺、語音、NLP和推薦等;不僅如此，昆侖芯也支持HPC、生物計算等算法的加速。