日韩欧美字幕,日韩伦理一区,高清av一区
首頁 > 資訊 > 評論

AI存儲,不再小馬拉大車

2025/04/11 12:58      光子星球


  3月末,多家海外存儲頭部企業,宣布從4月起提高部分產品報價,國內廠商也隨之上調價格,終結了DRAM內存與NAND閃存的降價勢頭。

  多家廠商曾在近期表示,價格上漲速度高于此前預期。“供給側減產,原廠自年初實施了嚴格的控價減產,更主要的動因來自需求側。”某存儲芯片廠商表示,AI應用井噴,驅動存儲芯片市場需求走高。

  另一位業內人士提到,根據DeepSeek所發布的產品特征看,對于存儲性能的需求還會再上一個臺階。“從長期來看,對于存儲讀取的需求會越來越高,我們判斷,對推理的存儲讀取性能需求可能會超過訓練的需求。”

  大模型時代,外界對于應用側百花齊放更有感知,在追求極致算力時卻忽視了,應用井噴其實對存儲也提出了更高要求。愛分析報告中提到,在同樣GPU算力規模下,存儲性能的高低可能造成模型訓練周期3倍的差異。如吞吐性能達千萬級IOPS、帶寬達TB級、時延低至百微秒,這些在傳統存儲也很難企及的要求,如今已成為AI存儲的入門門檻。

  一邊是來自存儲成本的壓力,如今存儲已占到大模型訓練整體成本的10%-20%;另一邊是對于AI存儲的更高性能要求。這讓CTO們追逐大模型時不得不面對這樣的焦慮:如何用更可控的成本,去實現更符合大模型訓推的存力?

  這一趨勢,也讓一部分廠商的存儲業務駛入快車道,例如已經過多年京東內部復雜業務驗證的京東云云海。事實上,京東云云海最初和其他互聯網廠商的存儲模塊沒有太大差異,由內部提供監控組件、管控組件、數據庫組件,自己單獨做好存儲產品。一位知情人士提到,“許多云廠商做存儲產品只有兩種路徑,一種是線下私有化的存儲輸出,另一種是找第三方合作。”

  從結構上看,大模型訓練在算力比拼的同時,大模型不可能長期“單腳走路”,存力那只“腳”,正在成為AI時代各方競逐的新戰場。

  AI時代的存儲標準變了

  年初,DeepSeek爆火的一個重要動因,便是緩解了外界對于算力的焦慮,然而卻也讓存力這個隱形且重要的變量,走到臺前。

  AI訓練的重心“偏移”首當其沖,思維鏈的巨大潛力將主要訓練場景自預訓練轉移至推理,落地到存儲則是由過去的讀寫并重到更偏向讀。在這一過程中,我們大可堆疊GPU,但在算力單元開“算”前,等待數據從存儲系統到達計算單元的過程才是耗時費力的關鍵。

  因此,DeepSeek自研存儲再一次把業內目光拉到了存儲及存儲架構上。DeepSeek 3FS解決方案每秒可以完成6.6TB的數據搬運,相當于1秒鐘傳輸完700部4K高清電影。而自動調取資源,則縮短國產芯片與國際頭部品牌的差距。業內方才后知后覺地反應過來,決定大模型效率的不止是GPU,存儲系統正在成為新的瓶頸。

  DeepSeek自研3FS的驅動力,來自不斷增長的推理需求,不得不回頭解決存儲架構。

  AI快速發展的大背景下,傳統對象存儲的短板快速暴露,互聯網云廠商通常以私有云或OEM形式輸出存儲能力,缺乏長期、穩定的存儲團隊支撐。而傳統存儲廠商AI訓練的經驗積累又欠火候,尤其是面對當下需求爆發的訓練、推理場景,在應對變化上有些力不能支。

  簡要對比幾家存儲產品,可以發現兩個重要信息, 一個是AI存儲的標準已明顯改變,另一個是國內外廠商的差距正在快速縮小。

  從存儲性能來看,吞吐量級、有效帶寬與時延都會影響GPU的算力利用率,存儲性能不足造成的GPU閑置,導致模型落地困難、業務成本劇增。去年,一家頭部AI公司因存儲帶寬不足,導致2000張A100顯卡算力利用率長期低于40%,導致單日經濟損失超百萬美元的教訓還歷歷在目。

  標準之外,國內外廠商的差距也在明顯縮小。

  老牌存儲品牌IBM,已完成了從HPC場景向AI場景的演進,尤其是在AI場景廣泛應用的DDN,在 IOPS、讀/寫帶寬等關鍵性能指標上的表現可圈可點。但與此同時,DDN的技術封閉性和轉優化硬件等因素,客觀上導致用戶建設成本高昂。

  DeepSeek自研的3FS是開源新品,表現上不輸老牌存儲,在讀帶寬上,單集群每秒6.6TB,平均單節點每秒36.7GB,悄然抬高AI存儲的入門門檻。同樣開源的還有Ceph,在相同配置規格上的單節點讀、寫帶寬能力分別為單節點5.6GB每秒與4.5GB每秒,IOPS單節點15萬。

  除DeepSeek之外,另一家國產廠商京東云云海的表現凸顯,24塊NVMe SSD配置規格下,讀、寫帶寬能力分別為單節點95GB每秒與60GB每秒,IOPS單節點280萬,單路4k讀寫延遲僅為0.5毫秒。京東云云海在提供高性能的同時,適用性較高,可以同時滿足DeepSeek、ChatGPT、LLaMA等20余種主流大模型的存力需求。

  需求驅動的存儲的發展固然需要適時而動,但更重要的是前瞻性的布局,讓京東云云海多年的技術儲備迎來了需求推動的東風。

  京東云內部向來有“先有京東存儲,后有京東云”的說法,從某種意義上講,京東存儲的發展階段,折射出了需求驅動的變化。

  京東云云海誕生于京東電商的大規模高并發場景,這一階段,存儲只是作為基礎設施存在,此時云海主要是解決傳統基礎設施中的存算分離需求,尤其是面對數據庫、中間件、ClickHouse等在線應用敏感型中間件的低延遲要求。

  2021年,京東在重慶建立了亞洲最大的超算中心SuperPOD,除了自身公有云之外,想必還存有參與機器學習“競賽”的考量。沒曾想兩年后,ChatGPT爆火,大模型訓練成本、效率的要求越來越高,算力爆發開始帶動存力。而原本便是做高性能存儲的云海突然“坐在了風口上”,承接了這一輪技術紅利而步入快速發展階段。

  自身業務的豐富性,以及長期扎根產業的具體場景中,才會出現拉通各家存力性能時,京東云云海在IOPS、帶寬與時延數據的突出表現。

  卡位大模型時代的存儲

  2008年的一場春運,掀起了高鐵替換傳統內燃機列車的大幕,這才有了海外游客為之驚嘆的四通八達的高鐵交通系統。事實上,基礎設施的超前配置恰是中國經濟、科技發展的一項核心動能。

  具體到AI的發展軌跡,我們雖不能透過大模型研發的“黑箱”窺見這么一個確定的時刻,但可以確認的是,在算力焦慮開始演變成“算效”焦慮的當下,存儲性能也是時候迎頭趕上。而滿足大模型時代的存儲需求,也成為京東云云海“卡位戰”的核心目標。

  前文提到,從AI訓練的需求來看,存儲性能的考量主要集中在IOPS、時延與帶寬上。

  IOPS指的是每秒輸入輸出操作次數,作為衡量存儲性能的重要指標,IOPS越高,設備檢索或存儲數據的速度越快。說白了,存儲的并發吞吐量實際上決定了模型本身剛性的讀取與寫入速度。

  另一方面,AI訓練PB級數據規模下的隨機訪問好比人滿為患的超市。不論超市增加多少售貨員,只要售貨員的效率不高,顧客便會在不同隊列中往返等待,待訓練框架吞吐的數據也是如此——空有IOPS而短于時延的性能沒有任何意義。

  帶著這樣的標準審視京東云云海的性能表現,不論是打底的千萬級IOPS,還是基于RDMA調優,做到單個小文件訪問時延平均100微秒,我們都能看出京東云云海卡位AI存儲的底氣所在。

  更重要的是,其在數據傳輸的帶寬利用率上也接近極致水準。在400GB的IB網絡中,京東云云海存儲的帶寬利用率壓榨到了84%左右,這一指標已然接近理論極限。

  隨著性能的“硬提升”,存儲性能與GPU之間的“小馬拉大車”關系迎刃而解,京東云云海亦借此于存儲行業卡住了自己的身位。但緊隨其后的是自內部業務場景走向更廣闊的天地,在其極致性能走進實際場景的過程中,還少不了“軟適配”。

  作為不顯于人前的底層基礎設施,存儲不涉及具體應用層產品,在理論上沒有定制化的需要。實際上,不同行業的數據存儲習慣與業務場景千差萬別,存儲產品本身亦需要因地制宜的調優。

  例如當下正圍繞智駕展開肉搏的車企,其存儲需求便集中在路況或車機實時采集的數據存儲,以及這些數據湖倉一體化清洗后,高效調用來訓練智駕模型兩方面。尤其是后者,“一旦高端GPU集群有閑置5%左右的時間,他的成本就相當于要重建一套分布式存儲的集群。”

  我們了解到,進入國內某智駕實力玩家L3與L4模型研發中的京東云云海,滿足了該企業上百個GPU計算節點在模型訓練過程中訪問存儲數據,并應對計算節點的高并發訪問的需求。

  云端之下,面對主要采用一體機為存儲設施的醫療行業,京東云云海亦會在統一存儲引擎的平臺基礎上,向集成商、ISV開放不同能力,共同結合具體的配置容量、盤的個數、規模與存儲介質做深度定制。

  自2023年正式步入外部市場的京東云云海,目前已開拓了包括汽車、銀行、券商、零售等領域超100家大型企業。迄今為止,其未曾出現過任何服務中斷的故障。

  存儲的中國故事

  今年1月,西方世界開始進一步限制AI芯片與技術的出口,而今更直接的“經濟對抗”,更是加速了“以國代進”這個伴隨中國科技力量崛起的宏大敘事。

  值此情況下,產業界普遍關注的自研自產的芯片、光刻機等供給或主動或被動地踏上自主創新的道路。但不可忽視的是,存儲同樣是構建完整AI技術體系的“磚瓦”。

  礙于存儲相較算力的發展滯后,AI存儲的迭代勢必要“步算力后塵”。

  進一步說,曾經不論是老牌廠商還是京東云云海這樣的聚焦AI存儲的廠商,其謀發展都繞不開其系統能力對高端英偉達GPU的適配,而今其存儲系統對國產芯片的適配以及在信創環境下的運行,開始成為當下衡量存儲廠商發展空間的重要參考。

  在這一方面,京東云云海的發展歷程頗具代表性。

  正如早先提到的“先有京東存儲,后有京東云”,京東早在2012年便開始攻堅存儲,亦在獨自摸索的過程中嘗試過開源架構。后來開源架構運維成本居高不下的問題開始暴露,京東云云海開始All in自研,這才有了2017年開始正式服務于京東公有云的云海1.0架構。

  直到現在,京東云云海經歷過底層架構變更、單機房或跨域、冷熱數據管理等技術路線的探索與爭論,但唯一保持不變的是其對自研的持續投入。

  直到2022年,互聯網廠商就NLP機器學習的“科研競賽”推動其研發開始聚焦于高性能的能力構建,這才有了如今我們看到的卡位大模型時代的京東云云海。而在此之上,其多年聚焦自研的投入也迎來回報,相較于海外架構與方案,云海更注重平臺對國產硬件的適配。

  據悉,京東云云海在信通院評測的代碼自研率達98.9%+,“連開源的一個庫都沒用過”。其在信創環境下的運行,則做到了與操作系統、數據庫、中間件、服務器、CPU、主板、網卡、SSD等主流國產化硬件和軟件兼容互認,最大程度發揮國產硬件的能力。

  這一點自京東云云海滿足多個頭部銀行、券商等對信創的硬性需求中,可見一斑。

  我們還自某自動駕駛公司處了解到,起初其接觸京東云云海時,便在試行環境下讓云海和海外方案提供商做過一次PK:在20T的模型大小下,兩者同樣在100T左右的數據集訓練中實現了秒級的讀寫。但在基本吞吐性能之外,云海的網絡利用率相較海外廠商高3%,且同等條件下的成本更低。

  即使是對國產化要求規格最高的金融行業,自主可控、全棧自研也不過是其挑選提供商的一個要素。相比之下,能否在業務場景中展現出相對其他提供商更高的性價比才是關鍵。

  DeepSeek、可靈、通義等名頭打響海外,我們共同見證AI時代下中國科技崛起。在此之下,芯片與存儲對應的算力與存力,亦默默成為“托舉”中國科技前行的力量。

  面對國產化替代的歷史機遇,京東云云海于內前瞻布局高性能,于外積極互聯互通,作為AI基礎設施的創新參與者,京東云云海已經代表AI存力市場率先邁出了堅定的一步。

IT產業網微信二維碼logo

  榜單收錄、高管收錄、融資收錄、活動收錄可發送郵件至news#citmt.cn(把#換成@)。

海報生成中...

分享到微博

掃描二維碼分享到微信

分享到微信
一鍵復制
標題鏈接已成功復制

最新新聞

熱門新聞

99热手机在线_五月天在线免费视频_波多野结衣之无限发射_美女一区二区三区视频_日韩在线观看a_天天天干夜夜夜操_日韩黄色片在线_97在线免费视频观看_天堂а√在线中文在线_88av.com_国产乱女淫av麻豆国产_日本a在线免费观看
婷婷六月综合| 色婷婷综合网| 香蕉久久精品| 亚洲五月综合| 热久久久久久| 不卡一二三区| 久久亚洲电影| 美女视频黄免费的久久| 亚洲成人不卡| 99视频在线精品国自产拍免费观看| 蜜臀久久99精品久久久久久9| 三级久久三级久久久| 久久麻豆视频| 伊人久久亚洲美女图片| 国产一卡不卡| 久久久久亚洲| 日韩av电影一区| 国产91在线播放精品| 亚洲调教视频在线观看| 国产精品亚洲片在线播放| 久久久五月天| 国产精品久久免费视频| 亚洲精品午夜av福利久久蜜桃| 国产欧美三级| 国产精品嫩草99av在线| 成人国产精品| 日本国产一区| av成人国产| 色一区二区三区| 欧美亚洲免费| 免费人成在线不卡| 91精品蜜臀一区二区三区在线 | 日韩不卡一二三区| 黄毛片在线观看| 日韩三级视频| 在线日韩欧美| 久久久久久一区二区| 日本亚洲不卡| 激情五月综合| 日韩成人亚洲| 欧美国产中文高清| 快she精品国产999| 久久中文字幕av一区二区不卡| 美女性感视频久久| 日韩中文字幕1| 99热精品久久| 精品亚洲免a| 精品视频高潮| 蜜臀av国产精品久久久久| 国产精品一二| 国产亚洲综合精品| av资源中文在线| 免费观看在线综合色| sm捆绑调教国产免费网站在线观看| 午夜国产精品视频| 麻豆国产精品视频| 麻豆精品网站| 99久久精品网| 美女视频免费精品| 狠狠久久婷婷| 精品国产午夜| 日韩一区二区三区精品| 国产在线欧美| 国产一区国产二区国产三区| 综合国产精品| 日韩视频久久| 日韩成人综合| 久久精品国产999大香线蕉| 欧美不卡在线| 国产欧美另类| 精品伊人久久久| 日韩高清欧美| 亚洲成人国产| 国产精品日韩久久久| 欧美在线资源| 在线免费观看亚洲| 日本午夜精品久久久| 国产精品多人| 日韩精品诱惑一区?区三区| 黄在线观看免费网站ktv| 999国产精品永久免费视频app| 99久久精品费精品国产| 99视频精品免费观看| 亚洲久久视频| 欧美日韩调教| 国产一区二区三区久久久久久久久| 国产精品毛片久久| 欧美+亚洲+精品+三区| 三级欧美韩日大片在线看| 97se亚洲| 精品亚洲免a| 欧美色图国产精品| 蜜臀久久久久久久| 精品久久美女| 日本免费久久| 蜜桃久久精品一区二区| 久久av免费| 激情五月色综合国产精品| 综合欧美亚洲| 97精品一区| 视频一区欧美精品| 国产精品一区免费在线| av在线日韩| 亚洲97av| 中文av在线全新| 性欧美长视频| 丁香婷婷久久| 婷婷综合成人| 97精品一区二区| 日韩精品一卡二卡三卡四卡无卡| 国产精品欧美一区二区三区不卡| 三级小说欧洲区亚洲区| 日韩精品三级| 99热精品久久| 欧美国产中文高清| 久久都是精品| 色婷婷狠狠五月综合天色拍| 日韩不卡一二三区| 欧美午夜精品一区二区三区电影| 日韩精品视频中文字幕| 日韩精品午夜| 国产精品欧美三级在线观看| 91精品二区| 美女高潮久久久| 久久亚洲图片| 欧美三级精品| 美日韩一区二区三区| 免费不卡在线视频| 欧美日韩第一| 天堂av在线| 久久精品欧洲| 欧美日韩一区二区三区不卡视频| 天堂资源在线亚洲| 国产一区丝袜| 日韩激情av在线| 亚洲成人免费| 亚洲精品在线影院| 国产精品99久久久久久董美香| 91久久午夜| 99久久99视频只有精品| 美女精品久久| 日韩av一区二区三区四区| 亚洲一区日韩在线| 久久久777| 国产va免费精品观看精品视频| 日韩精品a在线观看91| 石原莉奈一区二区三区在线观看| 久久激情网站| 欧美成a人国产精品高清乱码在线观看片在线观看久 | 97精品久久| 在线精品视频一区| 亚洲在线电影| 欧美成人亚洲| 久久在线免费| 欧美69视频| 久久国产中文字幕| 久久在线免费| 亚洲天堂久久| 亚洲成人三区| 国产精品外国| 不卡中文一二三区| 美女毛片一区二区三区四区| 欧美三级精品| 久久久久久美女精品| 国产综合视频| 国产高清久久| 99国产精品久久久久久久 | 久久不射中文字幕| 久久久久九九精品影院| 国产精品任我爽爆在线播放| 亚洲另类av| 国产精品免费看| 亚洲午夜av| 99久久久久| 日本在线精品| 国产精品国产一区| 麻豆国产91在线播放| 日韩中文av| 一区二区三区国产在线| 欧美专区一区二区三区| 国产精品免费看| 欧美午夜精彩| 不卡视频在线| 欧美二区视频| 牛牛精品成人免费视频| 国产精品三上| 91精品国产成人观看| 岛国精品一区| 国产日韩欧美一区 | 蜜桃av一区二区在线观看| 欧美精品自拍| 伊人精品视频| 国产亚洲午夜| 国产精品嫩草99av在线| 欧美日韩国产一区精品一区| 久久高清免费| 最新亚洲一区| 一区二区三区国产在线| 日韩精品亚洲专区| 欧美亚洲三区|