大數據時代的新命題：誰在滿足中國企業的實時性需求?

　　站在今天的十字路口，國內數據庫行業已然呈現出新的拐點。而在各種新趨勢和新技術的到來，鏡舟也正在基于自己開源社區加商業化閉環，共同加速數據庫行業的發展和規范。

　　作者|思杭

　　編輯|皮爺

　　出品|產業家

　　從540億元到1286億元——這是中國通信標準化協會大數據技術標準推進委員會在2023年做出的一份預測報告。報告指出，未來五年，中國數據庫行業在未來五年會從一個百億級市場跨越成為千億級市場。

　　從數據庫行業的過往經歷來看，全球數據庫的發展共經歷過兩次熱潮。80年代，關系型數據庫的理論突破和技術創新是全球數據庫行業迎來的第一波熱潮;緊接著，步入21世紀后，從PC互聯網到移動互聯網的發展，則又衍生出更多的數據庫應用場景。

　　而當時間快進到最近兩年，中國的數據庫行業似乎也在迎來一輪新熱潮。

　　在新的數字經濟環境之下，企業數字化按下加速鍵的同時，線下線上的邊界被進一步稀釋。從線上購物到線上會議，再到線上營銷活動等等，新的變化不僅衍生出了如Zoom、騰訊會議等線上場景的“現象級應用”，也誕生出更多的數據分析場景。

　　站在時代發展的角度，這種新變化是伴隨著5G、云計算、大數據和AI等多種技術共同出現的。在IDC的預測中，“到2025年，全球近30%的數據需要被實時處理。”而這也正是OLAP分析型數據庫近年來快速增長的客觀原因。

　　而另一組數字則是，預計到2024年，中國分析型數據庫的市場規模將達到521億元人民幣，復合增長率為27.8%。

　　“OLTP已不能滿足終端用戶對數據庫查詢分析的需要”。1993年OLAP剛被提出之時，提出者“關系數據庫之父”埃德加·科德就闡明過這樣的觀點。

　　一個更通俗易懂的理解是，OLTP用于處理基本日常的事務處理;而OLAP則支持處理復雜的分析決策操作，查詢結果也更為直觀。在企業數字化加速到來的同時，OLAP分析型數據庫的需求也被越發放到臺前。

　　鏡舟，正是這條賽道的參與者之一。

　　在過去的幾年時間里，鏡舟和其“實時數倉”等產品愈發頻繁地出現在數據庫主流市場視野內，也成為了一眾企業在數據庫側的首選。

　　就當下而言，數據庫應該如何選擇?伴隨著企業對于數據即時性越發高要求的需求出現，中國企業到底需要怎樣的數據庫?

　　一、數據爆炸的十字路口，迎接變化

　　“從線下到線上，不僅導致了數據量級的變化，在企業內部，數據使用習慣也在發生變化。”鏡舟科技客戶成功負責人孟慶歡告訴產業家。在如今時代洪流的沖擊下，一個客觀事實是，數字經濟時代所帶來全新的商業驅動模式，正在倒逼企業加速完成數字化轉型升級。

　　以金融行業為例，在個人小額信貸場景下，一個在2024年已經不再發生的現象是，客戶親自去線下的銀行網點，填寫申請表，再等待銀行完成征信信息對比，最后才能收到由銀行經過多重審核后發放的消費貸額度。

　　如今的情況是，打開網銀APP，填寫完基本資料后點擊申請，不到一分鐘就可以收到來自銀行的貸款額度發放。

　　從線下銀行網點到線上網銀APP，過去幾天才能完成的事情，如今已經縮短到幾分鐘，甚至幾秒鐘。但與之相對應的變化則是，在線上金融場景中，數據量級正在從之前的“天”級別變為“秒”級別，時效性得到大幅提升的同時，對數據庫的要求也在提升。

　　同樣的情況也出現在零售等行業。

　　一個零售行業里的共識，線上銷售渠道的布設是必行之路，其意味“信息差被網絡填平，數量差被快遞填平”。然而，這種布局意味著也同樣意味著零售業要面臨多種線上渠道的涌入，比如淘寶京東拼多多、微信抖音視頻號等等。

　　這種渠道的分散化所帶來的是數據的繁雜多元。從真實情況來看，如果說過去企業的習慣是查看一個月的銷售額，以及各個渠道的售賣情況，以此對商品進行判斷，再做出新的銷售決策。然而，在多種線上渠道涌入的背景下，如今數據分析的觸角則來自四面八方，時間更是會橫跨多個時間緯度。

　　而在這個背景下，除了固有的數據數量之外，還有一個最難被攻克的環節：“用戶畫像分析”。實際上，這個“明星詞匯”近年來已經被金融、零售、游戲和汽車等行業中口耳相傳。

　　以百草味為例，在雙十一、雙十二等大型活動期間，企業需要將優惠券、紅包或者抽獎等促銷放置在不同時間點靈活發放，以達到最好的促銷效果。

　　但對于商家來說，如何找到準確的時間、精準的用戶群進行發放，其需要依托于渠道產生的實時數據指標，來進行用戶畫像分析。

　　這不是一件容易的事情。在一個企業內部，一個用戶基于不同的渠道往往可能擁有上百甚至上千個標簽，而在線上渠道接入后，標簽的量級更是被無限放大。因此，如果想要面向用戶進行足夠精準的營銷推薦，其對底層數據庫就有極大的要求，不僅需要處理大批量的數據，更要滿足時效性、實時性。

　　實際上，在如今快速變化的大環境下，不論是金融場景下的高數據要求，還是零售等場景中的類似用戶畫像分析的需求，都是如今企業內部對數據庫新要求的一個縮影。

　　那么最好的選項在哪里?

　　二、數據庫里的「鏡舟樣本」：速度與穩定

　　2022年，鏡舟科技面向金融行業發布了數據庫解決方案。

　　作為數字化轉型的代表，金融企業開始從“外需”向“內求”轉變，通過降本增效的方式來提升自身盈利能力。同時，在數字化建設方面，金融企業受互聯網影響，越來越偏向電商和零售化，利用企業背后積攢的大數據做驅動成為業務發展的必需。這使得金融企業不得不做到“既要又要”——既要穩定，又要速度。

　　以證券企業的用戶經營平臺為例，其需要收集和整合大量來自不同來源的數據，例如用戶畫像、用戶行為等數據，為業務運營人員提供快速的自助分析能力。這種能力使得證券在財富營銷、資產管理等場景下能夠更好地理解和滿足其用戶的需求，從而提升用戶滿意度和忠誠度。

　　另外，銀行內部員工的績效分析平臺也需要數據的驅動�？冃�業務明細數據、指標、考核方案均需要 T+0 的分析時效，來讓管理層及業務員工實時查詢經營數據并進行分析，了解存貸款、理財等一系列業績完成情況，同時也要支撐績效情況按不同顆粒度進行同比、環比復盤，賦能企業的經營管理。

　　這不是一件容易的事情，其背后考驗的是數據庫的查詢性能，對數據量和實時性的要求十分高。

　　鏡舟給出的解題思路是“向量化引擎+CBO查詢優化器+智能索引”——從數據存儲、到數據加工計算再到數據查詢，進行全方位的極速再造。

　　可以理解為，基于“向量化引擎+CBO查詢優化器+智能索引”三者的疊加，企業可以更好地歸攏和整理內部的數據，不論是通過向量搜索還是智能索引，都可以加速對數據的篩查和分析，進而加速對數據的調用和處理，盡快反饋到前端。

　　這正是鏡舟的優勢之一。但從更大的視角來看，鏡舟對企業的價值還不僅于此，其更為被市場認可的是其“實時數倉”解決方案。

　　實時數倉是在從事后延伸至事前事中的背景下應運而生的能力，相當于從T+1的模式升級為T+0的模式。

　　傳統的實時數倉需要依賴許多外部組件來搭建，體系搭建相對分散、難調度，鏡舟的做法是則在此基礎上添加了新的All in One模式，即數據的接入、處理和分析都在一個相對獨立的體系里完成，保證整個體系的獨立性。同時，為了更好地強化上次的數倉能力，鏡舟在底層還專項構建了湖倉一體的能力，使數據使用模式和接入方式更加統一。

　　實際上，這也恰是如今鏡舟“連接大數據與價值”slogan所對應的布局。

　　在這種強產品力背后，外界對鏡舟的認可也更在企業成長層面——即開源社區與商業化主體形成的“雙擎驅動”。

　　鏡舟科技CEO孫文現告訴產業家，在百度做統計系統福爾摩斯的時候，后臺使用的是MySQL。當時幾乎每周都要進行一次大規模數據恢復，否則第二天數據就丟了。“有一次跑批任務要凌晨三點之前把所有數據全部跑出來，否則數據丟失就會讓客戶看不到后臺效果，引起投訴。”他表示。

　　后來孫文現和團隊共同設計了百度的第一個OLAP。而StarRocks開源產品，即新技術架構下的OLAP，也正是誕生于孫文現在百度的這段“反恐24小時”的經歷。一個關于StarRocks的時間線是，2020年5月，StarRocks產品正式問世;2022年，StarRocks正式捐獻給了Linux基金會。

　　簡單來說，鏡舟的數據庫產品脫胎于StarRocks開源社區，但又不止于StarRocks。兩者的關系是相互促進、相互成就。

　　能看到的是，在如今StarRocks開源社區內部，不僅有鏡舟，也更有阿里云、攜程、騰訊、小紅書等重要參與方和貢獻者。實際上，由于開源社區的用戶量極大，其迭代速度也十分快。對此，孟慶歡告訴產業家，“迭代節奏平均來看是，兩周一個小版本，一個月一個大版本。”

　　而對于鏡舟商業化主體，為了保證其穩定性，其商業化版本則是在StarRocks已經成熟的版本上進行迭代升級，構建出更適配企業服務市場的產品和方案。

　　鏡舟提出的湖倉一體新架構也來源于StarRocks，并在此基礎上添加了災備管理能力和數據權限管理能力，來保證企業用戶在數據系統運行中的數據安全和資產管理保障。再比如用戶畫像分析的需求，則也是鏡舟依托于StarRocks的大量用戶基礎，總結出的用戶痛點，并凝結出更為具體的解決方案，幫企業解決痛點。

　　此外，鏡舟基于StarRocks開源產品所做出更進一步不僅在產品，也更在對具體的場景和需求服務能力側。

　　第一點改造是效率上的提升。這涉及到了開源產品與商業化產品的本質區別，前者更注重性能和功能層面的基本能力，比如實時數倉和查詢性能;而后者則更強調企業的降本增效。

　　對此，鏡舟推出了可視化開發運維平臺，幫助用戶完成產品監控、運維升降機、告警監控管理及集群健康狀態巡檢等等。將這些功能做成可視化的界面，這是對于客戶來說更能夠降本增效的功能。

　　第二點改造則是針對數據安全方面。對于集團型企業而言，其業務線較多，數據的使用模式也更為復雜。所以，鏡舟在數據安全層面給出的解題思路則是，對于數據權限的管控。比如A部門的數據，B部門與C部門不能查詢。這種數據加密維度的特殊需求則需要企業版來補齊。

　　另外，開源社區為鏡舟所提供的大量用戶基礎，其附加價值除了行業Know-how，也更有生態的價值。

　　對于一家數據庫企業而言，它所需要打通的是紛繁復雜的上下游系統。而開源社區所能帶來的好處則是，通過開源的開放性，與開源社區里用戶相關聯的上下游企業，都更有可能發展成鏡舟生態圈里的企業。

　　以BI為例，帆軟、SmartBI、永洪BI，以及銀行和零售行業經常使用的觀遠BI都已經成為了鏡舟生態里的合作伙伴。作為一家商業化的數據庫公司，在新的環境下，鏡舟正在憑借開源社區的積累和商業化改造，為數據庫行業提供一個新樣本。

　　三、數據資產入表，和大模型的下一步

　　在2023年度十大科技名詞中，大模型位居榜首，數據要素也名列前三。而在種種新的技術變革之下，數據庫行業是否將迎來新的拐點?

　　首先是火熱了一年的大模型，今年以來，AI Agent和AIGC等技術都是上層應用賽道里的關鍵詞;而底層技術的變革總是要來得相對慢一些。在數據庫行業，一個可預見性的趨勢是AI+BI+DI。

　　實際上，更準確的說，這種趨勢并非出現在大模型時代，在更早之前它就是數據庫行業里的一個暢想。但由于技術不夠成熟，導致這種暢想并未實現。

　　具體而言，在AI、BI與DI三者的結合中，AI的這部分能力由大模型廠商來提供相應的能力;數據庫廠商提供的能力則在底層的數據處理分析上。其中，DI相當于一個接受數據加工請求的平臺;BI則是將這些數據分析結果用可視化的方式呈現出來。

　　只是在大模型時代，AI可以更好地理解用戶意圖，再基于底層強大的數據計算加工能力，即可實現更加絲滑、低成本的數據分析體驗，將底層數據庫的加工和分析結果在BI上呈現出來。

　　在鏡舟的觀察中，這種趨勢現如今已經可以成為現實，并計劃在未來一年內落地。實際上，這種模式的落地不僅是站在AI大模型新時代的風口之下，也更是在市場的期盼之下。

　　然而，也正是在AI+BI+DI模式的驅動下，數據庫行業將更加重視公有云模式。一方面是考慮到成本因素，另一方面則是數據使用模式的靈活度。

　　在大模型時代，公有云模式已經被各大云廠提升到重要的戰略地位。而在數據庫企業，公有云模式也將成為一種新的趨勢。一個較為客觀的觀察是，在全球數據庫市場中，云數據庫的市場份額近兩年也得到了大幅提升。不僅如此，近兩年的云數據庫占比已經超過本地部署的數據庫。

　　此外，在2023年度的科技關鍵詞中，數據要素也將在數據庫行業發揮更重要的角色。不僅如此，隨著2024年數據資產的入表，也更將催化數據庫行業走向新的發展高度。

　　在國家數據局發布“數據要素X”行動方案中明確提出推動將滿足資產確認條件的數據資源，計入資產負債表無形資產或存貨，推動數據資產化。而相關部門發布的規定也將于2024年1月1日正式施行。

　　在鏡舟科技客戶成功負責人孟慶歡看來，“數據資產入表是行業內的一個里程碑事件。未來，企業會越來越重視數據層面、資產層面的建設。過去粗放式的數據使用模式，在外部更強的監管要求下，也會朝著精細化的模式進行升級。相對應的，數據建設和治理在企業內部會變得更加合理。”

　　更具體地來看，數據資產在企業內部相當于一個“底座”的作用。而之所以數據資產被提到了一個更重要的位置，一部分原因也是希望充分發揮數據共享機制帶來的紅利。

　　而在整個數據共享機制的構建中，一個最常見的問題是數據孤島的存在。

　　這也正是前文所說，由于企業內部為了解決多個問題所構建的多個技術棧，而在不同組件下產生的數據割裂現象。一旦數據割裂的現象出現，整個數據共享的機制也就被破壞了。

　　對此，鏡舟所采取的湖倉一體新架構則也正是用于解決數據割裂的問題。具體來講，數據湖的能力可以將用戶的數據底座統一起來，比如將A、B、C三個部門的數據統一起來，從而達到數據共享的效果。

　　而在湖倉一體技術架構基礎上，數據也可以以各種格式存在于數據湖里，通過湖倉一體的分析來支撐企業對于數據使用的不同訴求，進而更有質量地構建自身的數據資產。

　　站在今天的十字路口，國內數據庫行業已然呈現出新的拐點。而在各種新趨勢和新技術的到來，鏡舟也正在基于自己開源社區加商業化閉環，共同加速數據庫行業的發展和規范。