云天勵飛千卡AI推理集群落地湛江，打造“國模國芯”生態樣板

　　3月12日，云天勵飛中標湛江市AI滲透支撐新質生產力基礎設施建設項目，中標金額4.2億元。項目將基于云天勵飛自研的國產AI推理加速卡，中國首個全棧國產AI推理千卡集群。

　　該集群將搭載DeepSeek等國產大模型，為政務、產業及各類應用場景提供更加便捷、低成本的AI能力，探索打造“國模國芯”的AI生態樣板。標志著湛江人工智能產業發展邁出實質性步伐，“AI滲透之城”建設進入全面提速的新階段。

　　一、AI算力從“訓練優先”走向“推理優先”

　　智算集群是人工智能時代的基礎設施。如果說電力支撐了工業時代，互聯網支撐了信息時代，那么智算正在成為支撐AI時代的重要底座。

　　在AI算力體系中，算力大體可以分為訓練算力與推理算力。訓練算力決定模型如何完成“從0到1”的能力構建，而推理算力則直接支撐AI應用落地。無論是春節期間大熱的SeeDance，近期廣泛討論的“小龍蝦”，還是各行業不斷上線的AI Agent應用，背后都離不開推理算力的支撐。根據Gartner預測，到2026年，約55%的AI專用云基礎設施支出將用于推理工作負載。

　　過去，國內許多智算中心普遍采用“訓推一體”的建設模式。而此次在湛江建設的集群，則定位為專注推理任務的AI推理集群，為傳統產業的AI化提供直接支撐。湛江是國產大模型DeepSeek創始人梁文峰的家鄉。作為湛江首批城市合伙人，云天勵飛此前已在深化AI業務賦能等方面開展了前瞻性探索。

　　2025年1月，DeepSeek R1發布后，云天勵飛成為首批完成適配的國產芯片企業。據悉，公司也在積極準備DeepSeek V4適配工作。未來旗下的AI推理加速卡將全面承載 DeepSeek 大模型能力，賦能千行百業。

　　作為AI推理芯片領域的領軍者，云天勵飛已實現芯片全鏈條的自主研發。此次建設的千卡集群基于其自主研發的全國產AI加速卡打造，具備多卡高效擴展與分布式并行推理能力，能夠穩定支持千億參數大模型的高效運行。該集群成功破解了傳統智算中心“重規模、輕應用”的發展瓶頸，通過大幅降低算力成本，使算力真正服務于具體業務，成為惠及千行百業的普惠基礎設施。

　　二、面向推理時代的千卡集群架構

　　在大模型應用場景中，推理系統通常需要同時滿足高并發、高吞吐與低延遲三項要求。為提升整體效率，當前業界普遍采用“Prefill–Decode分離”的推理架構，通過對不同階段進行資源優化，實現系統性能的整體提升。

　　其中，Prefill階段主要負責對長上下文進行理解和計算，計算量大、帶寬需求高;而Decode階段則負責持續生成Token，對系統延遲更加敏感。如何在兩個階段之間進行合理的資源配置，成為推理系統架構設計的重要問題。

　　與此同時，隨著大模型上下文長度不斷增加，大量中間狀態需要以KV Cache的形式存儲。業內普遍認為，未來推理系統的性能瓶頸將越來越多來自數據訪問效率，而不僅僅是計算能力。

　　在這一背景下，算力、存儲與網絡之間的協同設計，正逐漸成為AI基礎設施的重要競爭力。

　　此次在湛江落地的千卡推理集群，正是圍繞這一思路進行構建。

　　該集群采用云天勵飛自主研發的AI推理芯片，并在系統架構上確立了“優先優化Prefill、兼顧Decode”的技術路線。通過在芯片設計中對計算資源與存儲帶寬進行針對性配置，使系統在長上下文推理場景下依然能夠保持較高的吞吐效率。

　　在網絡互聯方面，系統采用統一高速互聯架構，通過400G光網絡構建集群物理層網絡，實現節點之間的高帶寬、低延遲通信。與傳統在節點內和節點間分別采用不同協議構建網絡的方式相比，這種同構互聯架構減少了協議轉換帶來的額外開銷，也簡化了系統部署。

　　在部署能力上，該架構既可以支持單節點數十卡規模擴展，也能夠平滑擴展至千卡級集群規模，從而適配不同規模的AI應用需求。

　　此外，針對大模型推理中KV Cache訪問帶來的壓力，系統在計算互聯與存儲互聯層面進行了協同優化。通過計算網絡與存儲網絡的聯合調度，可以顯著提升數據讀取效率，使模型在長上下文推理場景下依然保持穩定性能。

　　通過芯片架構、網絡互聯以及系統調度等多層優化，這一推理集群在整體效率與成本控制方面形成了明顯優勢，為AI規模化應用提供了更加經濟的算力方案。

　　三、自研芯片構建低成本推理能力

　　據悉，本次AI推理集群將全部采用云天勵飛自研的國產AI推理加速卡建設。

　　其中，一期項目將部署云天勵飛 X6000 推理加速卡;未來將率先搭載公司最新一代芯片產品。

　　根據公司規劃，未來三年云天勵飛將推出三代AI推理芯片產品：

　　第一階段，將推出面向長上下文場景優化的Prefill芯片，通過提升計算效率與內存訪問能力，為各類AI Agent提供基礎算力支撐。

　　第二階段，將研發專注于Decode階段低延遲優化的芯片產品，進一步提升實時推理能力。

　　第三階段，則通過系統級協同優化，實現Prefill與Decode性能的整體提升，向毫秒級推理時延目標邁進。

　　其中，首款Prefill芯片DeepVerse100預計將在年內完成流片，并計劃在湛江集群中率先部署。

　　在更長期的規劃中，云天勵飛提出“1001計劃”，即以“百億Token一分錢”為長期目標，通過芯片與系統協同優化持續降低大模型推理成本。

　　過去幾年，AI算力建設往往以“堆算力”為主要路徑——通過不斷擴大GPU規模來獲得更高性能。但隨著大模型逐漸進入應用階段，產業關注點正從“算力峰值”轉向“單位成本效率”。

　　換句話說，未來AI產業競爭的重要維度，不僅在于模型能力本身，還在于誰能夠以更低成本提供穩定的大規模推理能力。

　　湛江項目的落地，也為這一目標提供了重要的實踐場景。千卡級推理集群不僅能夠滿足當前AI應用需求，同時也為更大規模算力系統提供技術部署平臺。

　　在典型架構下，一個千卡級集群通常由多級擴展結構組成：從單節點8卡、32卡，到64卡甚至百卡級超節點，再到跨節點的大規模集群。通過這一規模系統的實際運行，可以充分驗證卡間互聯、節點通信和負載均衡等關鍵技術，為未來更大規模AI算力系統建設積累經驗。

　　隨著大模型逐步進入產業應用階段，AI基礎設施的發展邏輯也正在發生變化——從單純追求算力規模，轉向更加注重效率與成本。

　　在業內看來，推理算力將成為決定AI應用規模化落地的關鍵基礎設施。誰能夠以更高效率、更低成本提供穩定的大規模推理能力，誰就有機會在新一輪人工智能產業競爭中占據先機。

　　此次湛江AI推理千卡集群的建設，不僅為當地產業數字化轉型提供了重要算力底座，也為國產模型與國產芯片協同發展提供了實踐場景。在“國模”與“國芯”的深度協同下，AI基礎設施正逐步從技術探索走向規模化應用，為人工智能產業的下一階段發展打開新的空間。

　　四、構建產業新生態 助力湛江打造“AI滲透之城”

　　作為廣東省域副中心城市及粵西與北部灣城市群核心樞紐，湛江同時肩負“一帶一路”海上合作支點城市、全國海洋經濟創新發展示范城市的雙重國家級戰略定位。依托得天獨厚的區位優勢與政策賦能，湛江正錨定數字經濟賽道，走出一條獨具特色的人工智能產業高質量發展之路。

　　2025年，湛江率先提出建設“AI滲透之城”的發展目標，將人工智能作為搶占新賽道、培育新質生產力的核心抓手，以全場景滲透賦能城市高質量發展。此次重點建設的AI推理集群，由云天勵飛牽頭承建，華為、中國移動等領軍企業作為核心生態伙伴深度參與。

　　項目建成后，將全面構建起自主可控、安全高效、彈性調度的普惠算力底座，徹底打通算力供給、技術適配、場景落地與產業孵化的全鏈條。這將為湛江基礎設施升級、現代產業壯大、民生保障提質、城市建設提效提供穩定且低成本的國產化算力支撐，并為各垂直領域AI智能體的研發、測試及規模化應用提供全流程技術保障，真正實現“算力下沉、場景上云、AI滲透”，為湛江新質生產力發展注入核心動能。

　　各方將以“百萬Token一分錢”的普惠戰略為核心抓手，以湛江為實踐基地，攜手推動AI大模型技術的大規模落地。此舉不僅為湛江本地產業數字化轉型與數字經濟提質升級注入核心動能，更有望將這套普惠AI發展模式推廣至千城百市，為全國人工智能產業的規模化、普惠化發展提供可復制的實踐范本。

　　未來，湛江將繼續錨定省域副中心城市建設總目標，深入實施創新驅動發展戰略。以“AI滲透之城”建設為總牽引，湛江將持續完善人工智能新型基礎設施布局，深化AI在經濟社會各領域的全場景滲透與全鏈條賦能。