大模型進擊產業一線，必卷智能體

　　與去年百模大戰、靠算力堆出通用大模型不同，今年的大模型產業落地，要靠業務跑出來。

　　文|趙艷秋 徐鑫

　　編|牛慧

　　今年是大模型產業落地元年。從年初到現在，客戶對大模型的預期越來越高，要求解決更多的業務場景問題。

　　在這個過程中，智能體正在爆發——越來越多的客戶希望自身應用，能向下一代智能體(Agent)的方向演進。

　　簡單說，如果將大模型比作大腦，智能體就像是大腦的手腳和四肢。它能拆解客戶復雜的需求，調用工作流和工具，成為一個真正的業務小助手。由于它的門檻足夠低，可以讓更多人入門。而今天大多數AI原生應用，幾乎都能用智能體搭建。

　　業界所有大模型公司和生態企業都在做智能體。這也意味著，大模型落地已進入“必卷智能體”的階段。

　　在7月30日于上海舉辦的2024京東云峰會上，京東正式發布言犀智能體平臺，它是一站式智能體開發平臺。京東云判斷，智能體、數字人、具身智能是未來大模型與終端用戶的核心交互介質。其中，智能體更偏云端，是企業AI原生應用的重要推手。

　　實際上，京東云此次發布了包括言犀智能體平臺在內的、支持大模型落地的全棧產品，加速大模型全場景落地。

　　“通用大模型靠算力堆出來，企業大模型則靠業務跑出來。”京東技術委員會主席、京東云事業部總裁曹鵬在云峰會上說。通過日臻完善的產品和工具平臺體系，大模型才能與產業結合，發揮最大潛力。

　　數智前線獲悉，京東云大模型全棧產品是在京東供應鏈這一超級孵化器中孵化而來。目前，在京東內部已有超過100個大模型的應用，支撐了超過60萬員工和20萬的商家的應用。

　　01

　　“一線對智能體的熱情令我驚訝”

　　京東相關負責人表示，在實踐中感受到，智能體是今年大模型落地中，應用效果最好的工具平臺之一。

　　京東發布的言犀智能體平臺，實際上是一個“內生外化”的產品。它從去年10月開始研發，今年春季在京東和一些生態鏈企業開放使用，僅僅幾個月時間里，員工就搭建了3300多個智能體。“讓我們驚訝。”該負責人說。同時，平臺上也形成了上千個工作流、知識庫，受歡迎程度，超出預期。

　　“這可能與京東業務人員多，鏈條又足夠長有關。”一個有趣的現象是，過去一些年，京東在核心的零售供應鏈，投入了大量AI算法團隊。而這次大模型的變革，卻為那些過去沒有被AI影響到的群體，帶來顛覆性的變化。一線業務、職能、產品經理等都結合自己的工作，創建Agent。

　　比如，有人搭建了長視頻剪輯Agent。因為京東內部有大量培訓視頻要剪輯，過去大家要手動去找到相應部分，再用剪輯軟件去剪，一周只能剪幾個。現在這個視頻剪輯助手，只要上傳視頻和要求，就可以利用大模型多模態能力，找到對應的幀，員工再去剪輯，一周可以完成上百個。

　　另一個智能小哥助手，為快遞小哥做路徑規劃、智能提示，解放他們的雙手;在京東的智能體市場上，有大量活躍的Agent。有電話營銷質檢智能體，已產生百萬級訪問量，替代人工做營銷電話的審核與校驗......此外，京東有超60萬員工，還有大量通用場景智能體，如報銷類、學習類。

　　由于針對大量一線員工使用，言犀智能體平臺支持了零代碼開發，讓沒有算法背景的員工，也能通過可視化、拖拽方式來搭建智能體。“智能體平臺就是讓每一份AI靈感都能快速落地。”京東相關負責人對此深有體會。

　　智能體給組織協作也帶來了改變。之前一些業務部門協同時，要找對方拉會，需要開發還要制定排期。現在大家自發把各自的工具和API注冊到智能體平臺上，實現了底層能力的鏈接，其他部門員工可直接調用，協作也變得不一樣。

　　在經歷內部錘煉后，言犀智能體平臺對外開放。在商業模式上，提供公有云和私有化部署。

　　市場上已推出的智能體平臺，不少側重在個人開發者，但言犀智能體平臺更針對行業。它在內部孵化時，獲得京東零售、健康、物流各板塊的廣泛使用，沉淀了相應的行業解決方案。這次發布中，言犀智能體平臺預置了相關配置模版和插件，以及100多種行業解決方案，客戶用1分鐘即可構建專屬智能體。

　　針對企業如何用好智能體，京東相關負責人建議，尤其要注意兩方面：一是要持續挖掘爆款，打造標桿。比如，京東每周會根據數據，選拔智能體在官方市場上架，吸引更多人使用。“黑客馬拉松則再將其推高一個檔次，一浪高過一浪。”

　　另一則與平臺運營相關。如何支撐成千上萬員工的應用?一方面要建立有企業特色的類目體系，將成千上萬的智能體分好類，方便大家查找;另一是及時沉淀成熟解決方案，用戶可以直接使用。

　　智能體做出的AI原生應用，給企業軟件市場也帶來變化。一些智能體直接替代了原有企業的SaaS軟件，一些則嵌入到SaaS系統中去。言犀智能體平臺也提供了簡單的應用發布環節，企業可將搭建的智能體通過Web、API等方式，發布到內部IM，如企業微信及協同辦公渠道。

　　業界看到，Agent目前仍然處于非常初級的階段，未來會產生更多意想不到的Agent能力，這有賴于長千上萬的企業應用者。他們使用的過程，將是AI Agent進化的過程。

　　02

　　智能體背后，大模型的鍛造流水線

　　言犀智能體平臺目前已接入數十個大模型。而這些模型，由言犀AI開發計算平臺輸送而來。在上海云峰會期間，言犀AI開發計算平臺全面升級到2.0，并根據大模型落地關鍵點，突出了其中的關鍵能力。

　　第一個能力是模型壓縮+模型拉升。從去年底開始，各家企業的主要精力，都是根據客戶的使用場景，在基礎大模型上裁剪、拉升出各種小模型。曹鵬介紹，這是因為即便經歷了軍備競賽式的投入，通用大模型到了真正的場景里，“仍差了那薄薄的一層紙，需要專門調優”。而且不少場景要求模型反應速度要快，推理成本要低，小模型的市場反而更大。

　　目前，企業一般是采用一個模型群組，來實現不同場景的應用。這些模型群組，需要對通用大模型進行萃取壓縮，以及灌注企業知識進行放大而來。在言犀AI開發計算平臺上，用戶可通過零代碼方式，通過這樣的推和拉，能快速獲取到一個企業的專業模型。同時，推理的成本降低100%，速度提升1.5倍。

　　“目前業界通常分兩步走——壓縮和垂域模型微調。”京東人工智能業務部相關負責人說，但言犀AI開發計算平臺可在壓縮的過程中，將垂域知識灌注進去。這也是京東廣泛采納的一個方案。

　　第二個能力是數據準備。每個行業都有大量數據，包括多模態數據。這需要工具鏈具備極強的處理能力。

　　同時，過程數據的缺失，是業界落地大模型中，遇到的最大障礙。“比如我們看到一個癥狀，以及專家的處置建議，但并不知道專家的推理邏輯是什么。”京東健康相關負責人告訴數智前線，如果沒有推理邏輯，就解決不了幻覺問題。

　　“我們今天花了很大力氣，通過專家和大模型去補充。”一種是通過RAG的方式，這是當下業界必不可少的技術，給模型文獻資料，讓它自動化地捕捉推理鏈路;另一種通過專家來補充。工具平臺能不能幫專家團隊提效，也是業界在拼的技術關鍵。

　　此外，大模型合成數據非常火爆。“如何在垂域合成數據，與種子數據比較貼近，團隊也做了深入工作。”京東人工智能業務部相關負責人說。

　　第三個能力是模型評估。它包括通用能力評估以及垂域能力評估。針對通用大模型評測，市場上有一些不錯的榜單，公開了代碼和評測數據集，可以自動評測，直接出分。“要先保通用能力。如果沒有通用能力，就沒有垂域。”

　　至于垂域評測，京東在健康、零售等有評測數據集，用戶在調完模型后，也能再評測垂域。這也是自動化的。當然，也有一些人工評測，比如健康場景中人更懂業務，平臺也提供類似眾包的方式，讓大家參與評測。

　　在產業之中，構建一個評測系統非常關鍵。“與其說怎么訓練好一個垂域模型，不如有一個評測體系能告訴你，模型該往哪個方向去進步，這件事情尤其重要。”除了工具平臺外，京東也搭建了評測團隊，“這是我們的幕后英雄”。

　　03

　　AI大底座，加速大模型全場景落地

　　伴隨著大模型及智能體應用到產業一線，業界發現，計算、網絡、存儲等底層基礎設施也需要適應新局面，解決新挑戰。

　　最典型的一點，當下產業端的大模型應用實踐，要打造更開放的基礎設施平臺，比如支持多云、多芯、多活，能夠承接多種模型，從而滿足復雜的應用場景和業務需求。

　　目前，多模態大模型的打造，需要的算力是之前的10倍甚至百倍。全球企業都有一個特點，基于異構算力，來完成模型的訓練、調用和推理，解決普遍面臨的算力緊缺并提升性價比。

　　除了計算，在存儲方面，模型訓練高峰時段可能在數十秒內就要處理 TB 級別的數據存儲，而傳統應用中，這些海量小文件的處理任務，可分散在幾個月時間跨度里完成。這使得存儲產品必須朝向更高吞吐、更高IOPS、更高帶寬和更低延時進化。“同樣的GPU算力規模下，存儲性能的高低，可能帶來模型訓練周期3倍的差異。”曹鵬在演講中提到。

　　在Scaling law之下，超大規模集群對硬件間的網絡效率提出挑戰。不久前，馬斯克高調披露已建成10萬卡***超級算力中心，業界對背后的網絡架構——英偉達Spectrum-X也極為關注。畢竟，穩健、低延遲的網絡關乎到集群里的計算資源能否被充分利用。

　　這些動向都表明，基礎設施關乎大模型的落地進程。而在這場系統戰面前，廠商們需要構建更強大的AI底座，才能加速大模型在全場景落地。

　　京東云峰會上，披露了京東云AI底座的最近演進。如在高性能的存力方面，作為京東云自主研發的新一代存儲產品云海，歷經了10余年京東自身復雜場景歷練，能提供大模型超大量數據傳輸所需的極致性能。

　　峰會上，全面升級到3.0版本的京東云云海，在吞吐、帶寬、延時等性能上進一步提升，為大模型全面落地提供了更堅實的支撐。云海也與所有主流國產化平臺兼容互認。

　　據了解，目前京東云云海在建設銀行等重量級金融機構中大模型訓練中，提供了底層數據存儲的支撐。同時在上層應用上，也通過數據要素的合作，幫助這些企業去做線上數字化轉型。

　　在算力層面，京東打造了云艦AI算力云平臺。它具備了對多元異構算力資源的統一管理和調度能力，包括各類CPU、GPU和國產化AI加速芯片，支持多地域分布式算力的統一調度，提供高性價比的算力供給。

　　另外，vGPU池化方案，通過GPU異構資源池化，能將AI算力利用率提升70%，可有效降低算力成本。行業普遍存在算力焦慮，這也是京東云提供的一種解法。

　　此外，京東云大模型安全可信平臺，涵蓋超過200種特有的紅藍對抗攻擊手法，覆蓋監管合規要求的全部31類風險類型，風險分析準確率高達95%以上。

　　針對大模型企業今年以來的價格戰，曹鵬提到，去年京東云峰會就提過要通過技術升級來降低成本，要全網比價，對標主流云廠商的最低成交價再低10%。目前，京東云有超過100個產品規格通過比價售賣，并設立10億比價金，把技術帶來的紅利回饋給開發者群體。

　　總體而言，在2024京東云峰會中，京東通過發布從基礎設施、模型服務，再到智能體應用的全棧產品，正加速與產業的融合，從而讓更多企業的大模型落地，通過業務跑出來。