求索 NoSQL 的現在與未來，第五屆 Techo TVP 開發者峰會圓滿落幕

　　日益劇增的數據洪流與變革迅速的新興業務，既引發了互聯網企業對數據庫技術的重新思考，也帶來了傳統行業對數據庫應用的二次迷思。以靈活、易擴展著稱的 NoSQL 在企業數字化轉型的過程中，究竟發揮著怎樣的作用?其重要性體現在哪?未來 NoSQL 數據庫又將迎來怎樣的發展?

　　2022 年5月14-15日，第五屆 Techo TVP 開發者峰會 “數「聚」未來，豈止于快——NoSQL 引爆數據效率與價值”正式落下帷幕，12 位來自 NoSQL 領域的知名技術領袖和專家，從性能、效率與數據價值三大方向，與數據庫從業者一起共同探討了面向未來的 NoSQL 之路。

　　Day1：NoSQL前沿技術趨勢

　　主持人開場

　　峰會第一天聚焦在 NoSQL 的未來趨勢分析與新技術解讀，由天翼云首席專家、騰訊云 TVP 侯圣文老師擔任主持人。會議伊始，侯老師提出，大數據時代，數據量持續性爆炸式的增長，數據存儲結構的靈活多樣，新興業務的日益變革，這些需求催生出數據庫及應用系統的存在形式愈發豐富，也對數據庫的各類能力提供了非常多的一些場景和需求，也給技術人帶來了極大的挑戰和要求。

　　嘉賓致辭

　　騰訊云副總裁林曉斌的致辭，正式拉開了本屆 Techo TVP 開發者峰會的帷幕。他指出，數字化浪潮中，數據已成為企業最重要的資產，數據庫作為數據存儲的重要基礎設施，任務重大。過去十年間，基礎設施升級、數字化進程加速、云計算的普及，帶來了數據庫行業的二次高速發展期，云計算服務商在其中發揮了巨大的作用。

　　隨著云數據庫服務進入云原生時代，數據庫+云的創新模式將進一步推進云數據庫技術的革新。NoSQL 是數據庫中非常重要的一大分支，其在海量并發訪問及大規模數據場景下優勢明顯，在軟件架構層面上具備高并發、易擴展、靈活易用等特點。簡而言之，NoSQL 數據庫已經成為現代企業不可或缺的數據庫服務類型。

　　騰訊云在 NoSQL 領域一直持續著戰略級的投入，從產品設計、技術創新、客戶服務、再到生態建設，都有著經年累月的探索和實踐。騰訊云公有云已經提供了包括緩存、文檔、時序、KV 等在內的數據庫服務，并仍在持續豐富服務種類。與此同時，騰訊云也在積極推動外部合作，比如與 MongoDB 簽署戰略合作協議。

　　他最后總結道，騰訊云 NoSQL 數據庫已經覆蓋了包括金融、電力、電商、游戲、視頻等數十個典型行業應用場景，未來，騰訊云將在 NoSQL 數據庫領域持續投入，堅持技術創新，以服務企業為根本，助力企業降本增效，提升生產力。

　　解放生產力：騰訊云 NoSQL 的順勢而為與變革創新

　　騰訊云數據庫副總經理羅云帶來了題為《解放生產力：騰訊云 NoSQL 的順勢而為與變革創新》的主題演講。

　　他首先向與會者介紹了過去十年，NoSQL 數據庫的發展歷程。他表示，隨著互聯網業務的快速增長，海量用戶、海量數據、實時體驗、快速迭代的要求帶來了 NoSQL 的飛速發展。騰訊云 NoSQL 的發展史也是順勢而為，一脈相承，在緩存、KV、文檔、圖、時序、寬列、表格這系列的場景中，騰訊云都有提供相應的產品服務。

　　眾所周知，Redis 在過去5年間一直是最受歡迎的 NoSQL 數據庫產品，但是 Redis 的應用場景早已突破了緩存的范疇，特別是在存儲場景中的應用越來越廣泛，但是企業在存儲場景中使用 Redis 會面臨著規模、成本、持久化的難題，業界今年多有推出 Redis 的持久化產品，但是大多數產品通常能夠滿足業務在性能、成本、持久化、規模4個訴求中的2～3個，很少有4個訴求能同時滿足的。羅云老師表示，騰訊云通過創新性的軟硬結合提供極致性能、三級存儲解決性能、持久化、成本、規模難題的解法，KeeWiDB 團隊實現了極致的突破，做到了：

　　性能(單節點)：20 萬讀取，18 萬寫入，P99<2ms 可水平堆疊，性能線性提升;

　　成本：三級存儲，冷數據成本下降 97%;

　　持久化：命令級持久化;毫秒級穩定寫入延遲;SSD 提供低成本持久化;

　　大容量：單節點提供 TB 級容量空間;集群方式提供 100 TB容量空間。

　　分享最后，羅云老師表示，技術人的終極目的是讓整個社會的生產效率變得更高，讓整個社會的生產力能夠變得更好，希望可以用技術的方式去實現這些美好的愿望。

　　新硬件賦能創新：數據發展趨勢及軟硬件融合解決方案

　　隨著技術的發展，新硬件的出現帶來了更多可能。英特爾數據庫及大數據資深首席工程師、騰訊云TVP程從超&英特爾數據平臺事業部傲騰產品事業部中國技術中心工程部經理吳國安聯手帶來了題為《新硬件賦能創新-數據發展趨勢及軟硬件融合解決方案》的主題演講。

　　程從超老師向與會者介紹道，數據處理架構領域目前有以下幾個非常明顯的趨勢：從Scale up 到 Scale out ;從物理機到云原生;從 share-everything 到 share nothing 再到 share everything;內存數據庫+對象存儲;行存和列存并存。因此，數據處理端到端、系統優化端到端成了其中至關重要的部分。

　　吳國安老師接棒講解了英特爾傲騰新硬件的領先特性，其可以降低數據中心的成本、可以整合工作負載，嘗試對數據做更多的事情，在釋放數據潛能方面具備強大能力。英特爾傲騰在 NoSQL 數據庫、推薦系統、KV 存儲等方面均有著杰出的用例。

　　吳國安老師最后總結道：

　　數據分析的發展，需要更多的軟硬件一體的融合解決方案;

　　英特爾®傲騰™帶來新的內存和存儲層，更容易的擴展內存和加速存儲;

　　更加均衡的成本和性能，為你的業務提供更多、更好的選擇;

　　新硬件帶來了新的業務創新，讓不可能成為可能;

　　更加開放的生態，更加開放互連的系統，更多的客戶擁抱新硬件。

　　MongoDB應用數據平臺技術洞悉與實踐分享

　　MongoDB 北亞區技術總監林濤帶來了題為《MongoDB 應用數據平臺技術洞悉與實踐分享》的主題演講。

　　分享伊始，林濤老師拋出了一個令人觸目驚心的數據：70% 的企業數字化轉型都以失敗告終。究其原因，在于大部分數據基礎設施仍然圍繞傳統的關系數據庫構建，無法滿足當前企業使用和處理數據、構建程序的需求。圍繞這些需求，選擇添加專用的 NoSQL 數據存儲，又帶來了新的問題。

　　林濤老師介紹道，改變復雜的數據存儲結構、讓開發效率變得更高、讓架構變得更簡單、同時具備安全性和易管理性等特性，正是 MongoDB 想要實現的。具體而言，MongoDB 提供了以下產品能力助力企業騰飛：

　　提供靈活的文檔模型;

　　提供統一的接口;

　　分布式的架構;

　　冷熱數據的自動遷移;

　　客戶端字段級加密。

　　最后，林濤老師介紹了多個使用 MongoDB 構建數據平臺的最佳實踐案例，通過數據平臺的方式，讓開發人員和企業能夠以更低的成本加速創新。

　　直面海量圖數據挑戰，騰訊在圖數據庫的業務實踐與應用

　　騰訊云圖數據庫技術負責人肖品帶來了題為《直面海量圖數據挑戰，騰訊在圖數據庫的業務實踐與應用》的主題演講。

　　肖品老師表示，隨著大數據爆發式的增長，數據之間的關系更加復雜多樣，對關系數據的關聯性計算和分析成為常態需求，由此帶來了圖數據庫技術的騰飛。在騰訊內部，圖技術被廣泛應用在圖數據庫、圖計算、圖可視化等領域。

　　肖品老師重點介紹了騰訊圖數據庫 KonisGraph 的架構、性能及使用案例等關鍵內容。KonisGraph 在架構層面采用的是接口層、計算層、分布式緩存、存儲層的模式，設計原則是存算分離，保證部署的靈活性。在優化策略上，也做了異步并行、向量化、批量預取以及計算下推等優化。此外，在緩存、索引等策略上也都有獨到的設計理念。

　　除此之外，肖品老師還分享了 GraphIdex 圖可視化的設計理念及性能效果、Angel Graph 圖計算及其框架性能，以及 KonisGraph 圖數據庫的相關用例。他最后表示，KonisGraph 未來將在以下方向持續優化，完善自身。

　　融合圖計算引擎;

　　GQL 語法的支持;

　　自研存儲層;

　　緩存層完善;

　　完善周邊組件及平臺能力。

　　云原生多模 NoSQL在特征存儲上的應用實踐

　　騰訊 PCG 應用架構平臺部 NoSQL 開發負責人趙政，為我們帶來了題為《云原生多模 NoSQL 在特征存儲上的應用實踐》的主題演講。

　　趙政老師介紹道，云原生多模數據庫是當前很多公有云廠商提供云托管存儲服務的方式。騰訊自研的云原生多模型 NoSQL 數據庫，通過抽象高擴展的數據以及高復用的工作流框架，構建了具備容災備份、數據分層、多種一致性等能力的通用平臺底座，根據業務需求靈活定制可插件化的存儲引擎框架和擴展 API，提供數據模型的靈活擴展和快速接入能力。

　　在特征存儲的主題上，趙政老師具體分享了“特征”存儲的特點、技術挑戰，企業需求和當前的解決方案等背景信息。基于這樣的背景，騰訊云原生多模 NoSQL 在系統設計和實踐上要考慮關鍵的兩點：首先要支持多級存儲能力，第二是存算分離。在存儲引擎方面，要考慮到同時適用于內存、持久化存儲的需求。除此之外，其他需求則可以靠多模 NoSQL 的平臺來提供支撐。這其中涉及到的諸多技術挑戰，趙政老師都非常細致地向與會者做了分析。

　　分享最后，趙政老師表示，騰訊云原生多模 NoSQL 平臺已接入五大業務，日均調用量超過千億，TB 級全量數據更新低于 1H，分鐘級 GB 增量數據更新，顯著實現了降本增效的業務收益。談到騰訊云原生多模 NoSQL 的未來展望，他向與會者描繪了一幅搜廣推場景存儲和索引云一體化解決方案的美妙藍圖。

　　Day2：NoSQL技術實踐與應用

　　峰會第二天聚焦于 NoSQL 數據庫在各行各業的最佳實踐應用，由 CCIA 常務理事、騰訊云 TVP 韓鋒老師擔任主持人。

　　主持人開場

　　韓鋒老師提出，隨著數字化轉型的深入，數據越來越得到人們的重視，移動互聯網的蓬勃發展產生了大量語音、圖像、視頻等非結構化的數據，這些數據蘊含了非常豐富的信息，如何把這些數據的價值挖掘出來，如何利用 NoSQL 來助力創新業務的落地，賦能業務快速發展成為企業數字化轉型中至關重要的一環。

　　金融場景下的 NoSQL 實戰：微眾銀行 Redis 應用實踐

　　微眾銀行數據平臺數據庫負責人、騰訊云 TVP 胡盼盼帶來了題為《金融場景下的 NoSQL 實踐：微眾銀行 Redis 應用實踐》的主題演講。

　　分享伊始，胡盼盼老師為與會者介紹了社區版 Redis 的痛點。他表示，分片架構主節點異常對集群有影響，權限管理功能有限，資源統計和資源控制功能非常有限，缺少統一的運維與管理平臺是微眾銀行在使用社區版 Redis 遇到的痛點問題。

　　為此，微眾銀行自研了基于 Redis 的分布式緩存平臺 WeRedis，除擁有開源 Redis的特性外，還有如下特性：

　　多租戶與細粒度的鑒權;

　　資源控制;

　　子系統進行資源控制;

　　高危操作隔離;

　　擴展性更高;

　　可用性更高;

　　智能分析與管控。

　　胡盼盼老師表示，WeRedis目前已經應用在全行所有的業務場景，有 300+ 系統接入、87 套集群、4000+ 實例數。隨后，他具體介紹了 WeRedis 的跨 IDC 部署架構，以及運維過程中在性能、高可用、容量等問題上踩過的坑，并無私分享了從復盤中不斷優化來的 WeRedis 應用開發規范。

　　隨后，他還分享了包括 WeRedis 管理臺功能、鑒權管理及高可用相關的設計與思考。他最后表示，未來 WeRedis 將在容器化、升級到 Redis Cluster 6.0 以及持久化架構等方面繼續打磨精進。

　　騰訊音樂 NoSQL 應用與實踐：基于 Redis 和 MongoDB 構建社交類業務后臺

　　全民K歌基礎研發后臺 Leader 李革委帶來了題為《騰訊音樂 NoSQL 的應用與實踐：基于 Redis 和 MongoDB 構建社交類業務平臺》的主題演講。

　　分享伊始，李革委老師為與會者介紹了騰訊音樂 NoSQL 的應用概況，據他介紹，騰訊音樂旗下 QQ音樂、酷狗音樂、酷我音樂、全民K歌四大App的特點是多媒體社交 + 多媒體內容，大量應用了 NoSQL 數據庫。

　　李革委老師表示，從業務架構的層面看，數據庫選型需要考慮的是匹配業務模型、扛住海量請求、平衡成本開銷三大關鍵點。在這樣的原則出發下，騰訊音樂在 Redis 和 MongoDB 兩種開源數據庫產品下都有深厚的應用實踐。

　　具體到 Redis 下，實踐維度包括：

　　KV讀寫;

　　CAS解決方案;

　　分布式鎖;

　　輕重分離;

　　列表排序;

　　Bitmap;

　　分布式定時器。

　　在 MongoDB 下，實踐維度包括：

　　Embed or Reference;

　　列表存儲設計;

　　Replication 策略;

　　maxTimeMS 注意事項。

　　李革委老師最后介紹道，這其中自研的很多相關技術方案已經在騰訊云的數據庫產品中可以使用。他還特別提醒與會者，不要輕視生產環境下的數據庫應用與操作，避免發生影響重大的事故。

　　Infinity：微信新一代大規模在線存儲系統

　　微信技術架構部基礎平臺的 Leader 鄭建軍帶來了題為《Infinity：微信新一代大規模在線存儲系統》的主題演講。

　　在微信的大規模體量下，對存儲的高可用性、高可靠性、性能、成本、低延時都提出了非常苛刻的要求，鄭建軍老師首先介紹了微信存儲的發展歷程。微信存儲的發展總體上可以分為四個階段：第一階段的 QuorumKV;第二階段是2015年的 PaxosStore;第三階段是 2018 年期間對 PaxosStore 的能力增強;第四階段是新一代大規模在線存儲系統 Infinity。Infinity 是微信新一代大規模在線存儲系統，支持多種數據模型，通過一套統一架構應對不同的業務場景，提供線性一致和近實時訪問模式。

　　鄭建軍老師解釋道，Infinity 的誕生背景源于業務對可用性/可靠性提升、更加靈活的調度能力、更快的擴展速度、推薦/直播等業務場景單 key/單表高性能需求。具體而言，Infinity 的核心特性包括以下幾個方面：

　　路由中心徹底去依賴：保持非租約高可用水平提升擴展性;

　　數據存儲與復制日志解耦：靈活支持存儲異構/插件化和多種容災模式;

　　機器故障自動極速恢復：實現可用性/可靠性的數量級提升;

　　穩定可控的集群擴展：解決高負載集群的擴容悖論。

　　分享最后，鄭建軍老師也介紹了 Infinity 在微信業務中的運營成效，其中動態負載均衡、模塊混合調度部署，利用率提升，3萬+臺的規模每年節省約數億成本。此外在除夕零點峰值的更快擴展，視頻號奧運期間大量異構機型擴容的案例，也突出展現了 Infinity 的特性能力。

　　圓桌對話：上下十年，數據庫技術的發展與變遷

　　精彩的技術分享環節結束后，接踵而至的是啟發思考、碰撞價值的圓桌環節。本次圓桌對話以《上下十年，數據庫技術的發展與變遷》為話題，由 CCIA 常務理事、騰訊云 TVP 韓鋒老師主持，英特爾數據庫及大數據資深首席工程師、騰訊云 TVP 程從超老師，騰訊云數據庫副總經理羅云老師，微眾銀行數據平臺數據庫負責人、騰訊云 TVP 胡盼盼老師，全民K歌基礎研發后臺負責人李革委老師各抒己見，娓娓而談，展開了精彩的巔峰對話。

　　作為一個老牌的技術方向，數據庫技術已經走過了數十年，在最近十年間又有了飛速的發展。最受人關注的話題莫過于——未來十年，數據庫技術將有哪些新的發展趨勢?

　　程從超老師的觀點是，在底層算力沒有發生革命性變化的前提下，未來的發展方向是 Serverless、內存化、分布式、計算存儲分離的形態。而這其中不可避免的是要考慮更多安全的問題，這又會對數據庫技術的發展帶來制約和新的契機。

　　羅云老師表示，騰訊內部對于數據庫技術的發展趨勢早已有過討論，內部技術委員會比較明確地在幾個方向上達成了一致：第一是國產化，第二是多模型的融合化，第三是云原生化趨勢下的軟硬件結合突破。

　　胡盼盼老師則從微眾銀行的業務實踐出發，提出了混合事務模式發展的趨勢，他表示混合架構的需求一定存在，未來也將成為很多數據庫具備的特性。另一個暢想的點是基于新興開源數據庫的一體機產品的出現，滿足中小金融機構無力運維的痛點。此外，國產化的趨勢也是胡盼盼老師認同的一個方向。

　　李革委老師則從騰訊內部業務的發展出發，表示了對數據庫技術融合的發展趨勢的贊同。融合一方面在業務側可以減少消耗，另一方面也可以促進技術上的推陳出新融會貫通。作為開源文化的擁躉，李革委老師表示開源也極有可能是數據庫技術的一大發展趨勢，通過開源的協同、社區哺育，必將推動業務的發展。

　　最后，主持人韓鋒老師總結了技術、業務、開源三個方向的理解和認知，從技術側，資源分離、數據分層、Serverless 應用都是數據庫發展未來可期的方向;在業務側，大量差異化的場景會催生數據庫走分化的路線，但同時也會有分而治之之后融合的趨勢;同時，開源也是一種很好的商業模式，可以通過開源的模式去調動更多的資源來做底層的開發。韓鋒老師表示無論是從哪個方向出發，數據庫技術的發展都將幫助企業和開發者們受益其中。

　　結語

　　數據庫技術的發展史，幾乎可以視作技術人不斷突破極限，追求更高、更快、更強的奮斗史。數據庫技術倏忽數十載，既有關系型數據庫的獨占鰲頭，又有 NoSQL 的異軍突起，既有商業數據庫產品的強悍穩定，又有開源數據庫產品的持續創新，現在又迎來了云與數據庫的美妙結合。這一方百花齊放的舞臺上，既不缺演員，也不少觀眾，但對于技術的思考、趨勢的判斷卻總不嫌多。

　　本次 Techo TVP 開發者峰會，一以貫之的理念正是通過最用心的分享、最前沿的洞察、最實際的觀點，為開發者朋友獻上“最有料、有趣、且有用”的開發者峰會。在這個時代轉型的浪潮下，堅守科技向善的初心和本心，助力企業與開發者一起通往技術發展的理想國。