昆侖芯科技芯片研發總監漆維：昆侖芯AI芯片——讓計算更智能

　　在近日閉幕的2022北京智源大會上，昆侖芯科技芯片研發總監漆維受邀參與 “芯片前沿技術”專題論壇。

　　圍繞當前學術領域迫切需要解決的問題，以及產業落地過程中存在的諸多挑戰，漆維與來自中科院、清華大學、北京大學、杜克大學、倫敦帝國理工學院的各位專家學者一同分享重大成果與真知灼見，獻上了一場誠意滿滿的芯片前沿技術盛宴。

　　以下內容整理于主題報告 “昆侖芯AI芯片：讓計算更智能”直播實錄：

　　昆侖芯科技芯片研發總監漆維

　　大家好，我是來自昆侖芯科技的漆維。

　　相信很多朋友都認同，當下是芯片最好的時代。我個人也是非常幸運，很早就進入AI芯片這個賽道。接下來，結合我和團隊這十年的積累講一講對這個領域的理解。

　　AI芯片的機遇：空前繁榮的AI生態

　　今天整個AI芯片生態非常繁榮。從場景看，語音、視覺、自然語言處理這些不同的場景，AI算法都有持續突破。這些算法的突破不僅僅是對原有業務進行新的賦能，也極大便利了人們的日常生活。

　　另外一個維度，AI算法持續突破，工程師們嘗試更大的模型把AI能力帶到各行各業。國外GPT-3是首個千億規模的模型，國內像百度的文心、智源的悟道在這塊也有了很多積累和突破。

　　幾年前看AI的時候，大家可能會覺得AI更多是對現有業務做賦能，是“AI+”。但其實最近幾年，AI已經開始去賦能產業變革，像自動駕駛這個萬億級的市場，可以改變人們的出行方式。另外一個案例是Alphafold做蛋白質結構預測。能看到，AI算法很有機會對當前的科學難題進行突破。

　　上層整個AI生態非常繁榮，AI算法也不是第一次提出了，為什么最近這十年發展特別好?

　　其實是因為底層的AI計算提供了支持。當然，眾所周知摩爾定律正在逐漸失效，傳統的處理器結構已經不能滿足支持。GPU得益于很早在HPC有布局，也對架構進行了迭代。除了NV的GPU，國外以谷歌為例，結合自己的場景和需求去自研了AI芯片。在國內，互聯網紛紛下場造芯，同時也有很多AI的startup進入這個賽道�？梢哉f，對AI芯片來說，這確實是一個歷史性的新機遇。

　　理想非常好，上層整個生態及算法對底層都有硬件的依賴，自研AI芯片不僅能解決這種需求，同時也是利國利民的事情。但回到現實，就沒有那么豐滿了，這是一件很有挑戰的事情。

　　AI芯片的挑戰

　　AI芯片真的能做到在產業大規模落地是一件非常有挑戰的事情。

　　首先，算法的多樣化。前面提到，AI是有多種產品的，語音、視覺、自然語言處理，不同的業務場景有各自不同的算法模型以及底層計算精度的需求。除此之外，即便是同一個業務線，算法也在持續優化和突破。今天的算法需求或設計的芯片是不是能夠滿足明天的需求，這也是一個挑戰。一個很有意思的例子，谷歌也在GPU的一篇論文中提到過，他們剛開始做芯片的時候跟業務團隊溝通，業務告訴他們1%精度損失可接受。等芯片做完要推到業務做落地部署，發現業務改了說法，之前說的模型精度被推翻了。這也是對AI 芯片設計的一個挑戰。

　　其次，行業巨頭的生態壁壘。雖然大家都看好這個賽道、紛紛進入，但其實它不是一個藍海。這個賽道是有一個行業巨頭在前面。一方面，它確實做的比較早，到現在已經有十多年的積累，做成了一條非常強大的護城河。另外，它也敢于對自己的架構做持續的創新。隨著AI算法的需求，它的GPU產品已經跟所有的主流框架做了適配。大家天然地去用GPU做AI算法的應用。面對新的硬件、定制的指令集和微架構，以及新建的整個軟件生態，對于客戶來說，為什么要選你?一定是有一個心理防線的。所以，一定要兩個維度都做到，第一方面，要有一個非常可觀的實際的性能收益去吸引業務。另一方面，需要整個軟件棧做的非常靈活，用盡量小的遷移成本去打破客戶的這種心理防線。

　　第三，『苛刻』的客戶需求�？蛻舻男枨蟛皇且怀刹蛔兊�，也是非常嚴苛的。以互聯網為例，客戶并不會關心一個單一的指標，他們關心延時、關心吞吐，也關心TCO，而且這些指標很多時候是融合在一起的。舉個例子，客戶關心的可能是在滿足一定的延時條件下，單卡能夠帶來的吞吐是多少。甚至，有時候他還會加一些限制：要求他的CPU、整個AI芯片或者GPU在一定程度的利用率去確保整個業務系統的魯棒性。TCO也不是說單卡的性能和成本，而是說單卡跟服務器整機適配，在實際業務應用場景整機的分攤成本，甚至具體到分攤的網絡成本、功耗成本等等。

　　最后，復雜的真實部署環境。從研發人員的角度，會覺得把芯片做出來、點亮，是非常關鍵的milestone，這一點肯定毋庸置疑。但其實從點亮到芯片在真實業務場景中實現規模落地，這中間還有非常大的工程挑戰，這是軟硬件、整個系統都會面臨的挑戰。硬件層面，做到萬級、十萬級甚至更高的時候，穩定性怎么樣?成本對業務來說是不是可接受?軟件也是，整個軟件棧要適配不同的深度學習框架，包括國內外主流的各種操作系統甚至不同機型的適配等等。

　　這些都是實際的工程工作，克服這兩塊到了實際業務部署的時候，會發現并不是一個單線程的作業，有時候會做多線程的混部，甚至為了把整個運營資源利用率做高，會做兩個不同的業務線混部。在這種場景下，AI卡的實際性能能不能做到很穩定，這些都是走向量產之后需要面臨的工程化挑戰。

　　AI芯片：從定制到通用

　　伴隨上述挑戰，我們團隊的發展其實也是分成了兩個階段。

　　第一階段：2011到2017年，跟著整個AI算法的迭代，AI逐漸在更多的業務線落地。跟這個階段相匹配的，我們基于FPGA開發了AI的加速集群，做到了行業中一個非常大規模、有影響力的部署。16年17年的時候，隨著Intel收購Altera，Amazon推出FPGA云服務，FPGA突然變得特別火;但因為我們在這個領域布局得很早，其實已經明顯能感覺到FPGA從業務形態上、架構上的一些瓶頸。

　　在2017到2018年我們開始轉型，2018年正式啟動昆侖芯片的研發。目前，兩代芯片都已經正式量產。

　　為什么做通用的AI處理器?尤其是像芯片這種高投入的場景，前面也提過，整個業務的算法其實都還在持續迭代和變化，如果要做一個AI芯片，尤其是真正能達到量產，一定是通用、能夠靈活支持所有的應用和產品的，同時，需要軟件棧去對接所有的業務系統。這就需要非常靈活的可編程的方案，一方面要能夠適應業務需求，另外，商業化落地要能夠盡量減少對應的軟件成本以及對用戶來說的遷移成本。

　　昆侖芯2代

　　以昆侖芯第二代芯片架構XPU-R為例做一個分享。該架構非常核心的兩部分分別是：Cluster和SDNN。

　　Cluster是通用計算單元，我們有自定義的指令集，支持標量和向量計算。某種程度上，其實軟件可以像寫擴展一樣，或者說是像寫處理器一樣去編程。

　　SDNN是面向AI運算的指令、加速單元，主要是支持像卷積、矩陣乘等這種高頻、高算力需求的一些算子。SDNN是Software Defined Neural Network。為什么要軟件定義呢?其實我們早期也做過偏定制的架構，它的問題在于模型持續變化的時候，尤其是涉及到分支跳轉，或者動態reshape這種，不一定能支持好。另外一個維度，整個算法一定是持續迭代的，未來一定還會有新的模型、新的算法出現。某種程度上，Cluster和SDNN對標CUDA Core和Tensor Core。

　　除了這兩塊之外，整個Memory的設計也是結合我們的產品定義做的設計。比如說，片上有比較大的Shared Memory能夠支持Cluster和SDNN之間的數據交互。片外的Device Memory這塊，昆侖芯2代選的是GDDR6，可以兼顧帶寬和成本。昆侖芯2代也是國內首款應用GDDR6的AI芯片。跟主機的接口這塊，集成了PCIe4.0協議。同時，我們也具備片間互聯能力，多個芯片之間能夠互聯通信去支持訓練和大規模推理的應用場景。

　　還有很多功能，比如我們自研的調度系統。AI芯片計算加速有的時候還不到微秒，這個時候如果是一個非常重的處理器進行調度，或者依賴于host的話，會有一些性能的影響。所以我們也是自研了一個調度系統，能夠做到ns(nanosecond，納秒)級別的調度，確保整個硬件的利用率非常高。

　　如果說芯片提供了這個能力，那整個軟件棧就關系到產品到底能不能快速在多個業務場景、大規模量產落地。我們也提供了一套非常完善的SDK，包括底層驅動、Runtime，到上層也包括一些高性能的控制庫以及圖編譯的引擎。結合不同客戶的需求，可以做到快速的實現和部署。

　　這是昆侖芯2代AI芯片。這代芯片采用7nm工藝，算力高達256TOPS@INT8。

　　我們在這個芯片上也引入了很多新的feature，包括硬件虛擬化。另外，芯片集成了包括視頻的編解碼以及圖像處理能力，能夠做到整個視頻全流程的打通。

　　在GEMM、BERT/ERNIE、YOLOv3和ResNet-50這些模型上，昆侖芯2代實際性能全面領先，針對很多業務實際的模型也會有更好的表現。

　　目前，昆侖芯2代已經在多個場景落地�；ヂ摼W領域，不局限于百度集團，我們在外部也有很好的突破。智算中心，比如智源研究院項目的合作。還有一些新的領域，像生物計算，我們有跟國內的一些高校和社會系統、公司合作探索，有一些項目的落地。也就是說，我們的產品并不僅限于AI。

　　未來的課題

　　面向未來，第三代AI芯片已投入研發，同時也在規劃第四代產品。

　　昆侖芯科技剛剛成立一周年，我們也在持續思考，結合應用場景哪些地方能夠做優化，以及性能提升，做到通用，同時能夠兼顧實際的性能。在這個過程中，我們的產品到底怎么定義、是不是能夠有更先進的技術，甚至說產品到底是做“AI+”還是賦能產業變革，能否做更大的場景等等，這些也是我們日常工作中持續在思考的課題。

　　最后，借著這個機會，非常歡迎日后有機會能夠跟同行、跨行的人進行更多交流。