SDS增勢(shì)迅猛 青云QingCloud如何用新技術(shù)支撐企業(yè)關(guān)鍵應(yīng)用

　　基于x86架構(gòu)的SDS存儲(chǔ)解決方案正進(jìn)入企業(yè)級(jí)存儲(chǔ)市場(chǎng)，逐步替代原有的傳統(tǒng)SAN存儲(chǔ)產(chǎn)品。

　　1:IDC追蹤報(bào)告：SDS增勢(shì)迅猛

　　據(jù)IDC在2017年9月發(fā)布的預(yù)測(cè)報(bào)告顯示，從2017年到2021年，SDS在全球的營(yíng)收將從2016年的85億美元增長(zhǎng)到2021年的161億美元，年復(fù)合增長(zhǎng)率達(dá)到13.5%，而其中，由于HCI市場(chǎng)的不斷擴(kuò)大，用于HCI的SDS全球營(yíng)收的年復(fù)合增長(zhǎng)率將高達(dá)26.6%。

　　IDC預(yù)測(cè)，從2017年到2021年，SDS在塊數(shù)據(jù)、文件數(shù)據(jù)、對(duì)象數(shù)據(jù)以及HCI等細(xì)分市場(chǎng)的營(yíng)收將持續(xù)增長(zhǎng)，其中SDS在HCI方面的年復(fù)合增長(zhǎng)率將高達(dá)26.6%，SDS總體年復(fù)合增長(zhǎng)率達(dá)到13.5%。

　　SDS與HCI之間有著非常緊密的聯(lián)系。SDS是HCI的重要組成部分，但HCI以“一體化”整體解決方案的交付方式先于SDS獲得用戶市場(chǎng)的認(rèn)可，為與更早時(shí)候出現(xiàn)的服務(wù)器+傳統(tǒng)SAN一體交付的“融合基礎(chǔ)設(shè)施(Converged Infrastructure)”相區(qū)別，HCI因?yàn)槠溆?jì)算與存儲(chǔ)更加緊密地部署在同一物理服務(wù)器節(jié)點(diǎn)上，故被稱之為“超融合基礎(chǔ)設(shè)施(Hyper Converged Infrastructure)”。隨后，軟件定義存儲(chǔ)(Software Define Storage，SDS)的概念被提出，HCI中的存儲(chǔ)子系統(tǒng)——基于x86商用服務(wù)器的分布式存儲(chǔ)系統(tǒng)，被看作是SDS在產(chǎn)品實(shí)現(xiàn)上的典范，進(jìn)而在用戶市場(chǎng)獲得迅猛增長(zhǎng)。

　　另一方面，HCI融合了計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)子系統(tǒng)形成一體化的整體解決方案，而計(jì)算子系統(tǒng)的成熟度較高，多種可選計(jì)算子系統(tǒng)的性能水平并無明顯差距;并且在網(wǎng)絡(luò)方面也無特別需求，反倒是存儲(chǔ)子系統(tǒng)的性能水平成為HCI方案的關(guān)鍵，直接決定了HCI綜合性能發(fā)揮。換而言之，HCI的成功幫助SDS進(jìn)入更多企業(yè)用戶的視野，而HCI的成功又有SDS不可磨滅的功勞。

　　SDS是HCI不可缺少的基石，在HCI場(chǎng)景下，SDS控制器多安裝在單獨(dú)的虛擬機(jī)上或作為Hypervisor中的一個(gè)進(jìn)程，但因?yàn)槎际腔�于x86商用硬件，所以SDS控制器是安裝在物理機(jī)還是虛機(jī)內(nèi)，在技術(shù)上并無本質(zhì)區(qū)別。隨著市場(chǎng)對(duì)SDS的接受程度越來越高，為了更靈活地滿足不同應(yīng)用場(chǎng)景下對(duì)存儲(chǔ)提出的不同性能需求，存儲(chǔ)與計(jì)算(應(yīng)用服務(wù)器)分離部署的場(chǎng)景也在增多。基于x86服務(wù)器獨(dú)立部署的SDS方案，因?yàn)檐浻布�解耦，不依賴特定硬件等特性，在�?dú)立部署時(shí)，SDS能夠根據(jù)不同環(huán)境提供塊數(shù)據(jù)、文件數(shù)據(jù)以及對(duì)象數(shù)據(jù)等對(duì)應(yīng)的存儲(chǔ)接口。

　　如圖一所示，SDS與HCI融合部署仍是其主流應(yīng)用場(chǎng)景，但用于滿足塊數(shù)據(jù)、文件數(shù)據(jù)以及對(duì)象數(shù)據(jù)存儲(chǔ)需求的獨(dú)立部署模式也獲得了較高的年復(fù)合增長(zhǎng)率。即使是年復(fù)合增長(zhǎng)率最低的塊數(shù)據(jù)存儲(chǔ)市場(chǎng)，SDS方案也有接近5%的年復(fù)合增長(zhǎng)率，預(yù)計(jì)到2021年，其全球營(yíng)收將達(dá)到2.5億美元左右。增長(zhǎng)率雖然最小，卻有非凡的意義，塊數(shù)據(jù)存儲(chǔ)在以往都主流使用傳統(tǒng)SAN存儲(chǔ)，而SDS在塊數(shù)據(jù)存儲(chǔ)市場(chǎng)的增長(zhǎng)，意味著其將逐步替代傳統(tǒng)SAN存儲(chǔ)。而在塊存儲(chǔ)市場(chǎng)，SDS的另一個(gè)名字更為知名——Server SAN。

　　SDS在中國(guó)市場(chǎng)的銷售額也正飛速增長(zhǎng)，且與全球市場(chǎng)不同的是，Server SAN的增長(zhǎng)率高于全球平均水平，中國(guó)用戶對(duì)Server SAN的接受程度更高。據(jù)IDC今年3月發(fā)布的HCI與SDS在中國(guó)市場(chǎng)的細(xì)分報(bào)告顯示，HCI和SDS在2017全年銷售總額分別超過了3.7億和4億美元，而其中2017年第四季度的銷售額分別達(dá)到了1.57億和1.5億美元，均超過了全年銷售總額的三分之一。

　　據(jù)IDC最新報(bào)告顯示，與2016年第四季度相比，2017年第四季度，HCI和SDS的銷售額同比了增長(zhǎng)188.6%和176.9%(圖表來源于IDC)，Q4的銷售額幾乎占據(jù)了全年銷售總額的三分之一

　　2：全閃Server SAN：將替代傳統(tǒng)SAN

　　Server SAN這一分支的誕生，標(biāo)志著SDS開始進(jìn)入主流市場(chǎng)，在產(chǎn)品布局上完成了對(duì)企業(yè)主流應(yīng)用場(chǎng)景的覆蓋。而Server SAN本身所具有的三大特點(diǎn)也使得其替代傳統(tǒng)SAN存儲(chǔ)成為可能：

　　首先，Server SAN都是基于標(biāo)準(zhǔn)的x86商用硬件，或者說，Server SAN的核心是軟件，其可以安裝在任意x86服務(wù)器之上，而非像傳統(tǒng)SAN存儲(chǔ)那樣需要有專門設(shè)計(jì)的存儲(chǔ)硬件。這就使得其具有靈活的部署選擇，既可以獨(dú)立部署(如Server SAN)，也可實(shí)現(xiàn)超融合部署(HCI)。

　　在存儲(chǔ)資源方面，SSD是必選項(xiàng)，用以加速硬盤，這使得其性能保持在一定水平之上。同時(shí)，隨著閃存單位成本的下降，用閃存全面替代硬盤可以提供更高的存儲(chǔ)性能，相比于硬盤，閃存的每IOPS成本和IO響應(yīng)時(shí)間都有巨大優(yōu)勢(shì)，而與這兩大特點(diǎn)最契合的就是以數(shù)據(jù)庫為代表的企業(yè)塊數(shù)據(jù)存儲(chǔ)場(chǎng)景，這也是傳統(tǒng)SAN存儲(chǔ)最主要的陣地，全閃存配置SDS用以滿足塊數(shù)據(jù)存儲(chǔ)需求，即Server SAN。

　　并且，相對(duì)于傳統(tǒng)SAN存儲(chǔ)需要專門的存儲(chǔ)網(wǎng)絡(luò)(如FC、IB或iSCSI)，Server SAN與前端計(jì)算采用相同的以太網(wǎng)絡(luò)，不僅能夠降低網(wǎng)絡(luò)的復(fù)雜度，也有助于成本節(jié)省。

　　隨著具有更高性能的NVMe SSD以及支持RDMA技術(shù)的25GbE網(wǎng)絡(luò)走向普及，相比于傳統(tǒng)SAN專有硬件設(shè)計(jì)，Server SAN只需從軟件堆棧上作出改變就能利用新技術(shù)帶來的性能提升，這將極大地推動(dòng)了Server SAN進(jìn)入企業(yè)關(guān)鍵應(yīng)用領(lǐng)域，同時(shí)也給創(chuàng)新型SDS提供商帶來彎道超車的機(jī)會(huì)。

　　據(jù)IDC的預(yù)測(cè)數(shù)字顯示，到2022年，中國(guó)市場(chǎng)的SDS產(chǎn)品年銷售額將突破10億美元，HCI的年銷售額也將接近9億美元。2017年，HPC、VSS、流媒體、云原生應(yīng)用、歸檔、VDI以及DB等應(yīng)用場(chǎng)景成為SDS產(chǎn)品的主要增長(zhǎng)領(lǐng)域。其中VDI和DB都屬于塊數(shù)據(jù)存儲(chǔ)場(chǎng)景，而塊數(shù)據(jù)存儲(chǔ)場(chǎng)景在以往通常是傳統(tǒng)SAN存儲(chǔ)的“天下”，但SDS在這兩個(gè)場(chǎng)景的增長(zhǎng)分別超過了60%和30%。這意味著Server SAN正在逐步取代傳統(tǒng)的SAN存儲(chǔ)。

　　旺盛的市場(chǎng)需求正促使諸多新興供應(yīng)商加入到HCI市場(chǎng)當(dāng)中，HCI以一體化交鑰匙的方式交付給用戶，大幅簡(jiǎn)化了部署實(shí)施過程。而HCI重存儲(chǔ)的特點(diǎn)也讓在SDS領(lǐng)域有經(jīng)驗(yàn)積累的廠商能夠迅速加入進(jìn)來。其中較為典型的例子就是青云QingCloud，青云QingCloud原本是一家公有云服務(wù)提供商，在2017年提出了“全模云”概念，同時(shí)支持分布式和集中式業(yè)務(wù)架構(gòu)的云端部署，希望根據(jù)不同用戶不同應(yīng)用場(chǎng)景下的不同需求提供靈活且適宜的產(chǎn)品或組合解決方案，推出了包括Bare Metal(裸金屬服務(wù)器)、NeonSAN以及RadonDB等多種滿足企業(yè)用戶所需的產(chǎn)品及服務(wù)。其中NeonSAN是面向企業(yè)關(guān)鍵應(yīng)用負(fù)載所推出的一款新的塊數(shù)據(jù)存儲(chǔ)產(chǎn)品(Server SAN)，同時(shí)也可以作為其青立方超融合系統(tǒng)的底層多維存儲(chǔ)選擇之一。

　　青立方超融合系統(tǒng)從2017年第三季度才開始被IDC納入統(tǒng)計(jì)，近下半年兩個(gè)季度，就占據(jù)了4%的中國(guó)地區(qū)市場(chǎng)份額，即使放到全年來看，青云QingCloud占據(jù)了3%左右的市場(chǎng)份額(數(shù)據(jù)來源：IDC)

　　3：QingStor NeonSAN：新技術(shù)支撐企業(yè)關(guān)鍵應(yīng)用

　　青云QingCloud 自主研發(fā)的QingStor NeonSAN是一款符合軟件定義存儲(chǔ)理念的分布式存儲(chǔ)系統(tǒng)，其支持HDD、SATA SSD、NVMe SSD乃至Intel Optane等多種存儲(chǔ)介質(zhì)，并可選10GbE或新一代25GbE網(wǎng)絡(luò)，通過不同的硬件組合，能夠?yàn)椴煌瑧?yīng)用場(chǎng)景下的不同存儲(chǔ)性能需求提供靈活選擇;同時(shí)也能根據(jù)應(yīng)用特點(diǎn)融合部署在虛擬化環(huán)境(HCI)，或者分離部署在商用x86服務(wù)器之上(Server SAN)，Oracle RAC、SQL Server等核心數(shù)據(jù)庫集群、物理機(jī)和容器高可用架構(gòu)、大數(shù)據(jù)分析計(jì)算等應(yīng)用場(chǎng)景都有相匹配的NeonSAN產(chǎn)品。經(jīng)過E企研究院的測(cè)試結(jié)果顯示：在采用NVMe SSD+25GbE(RDMA)技術(shù)后的NeonSAN，其單卷(Volume)可提供不低于10萬IOPS的隨機(jī)讀寫性能，容量可擴(kuò)展到100TB，單個(gè)NeonSAN節(jié)點(diǎn)隨機(jī)讀寫性能最高可達(dá)50萬IOPS。

　　QingStor NeonSAN主要有四個(gè)大的功能角色組成：

　　(1)Zookeeper用于集群管理，進(jìn)行注冊(cè)發(fā)現(xiàn)服務(wù)，新加入的NeonSAN節(jié)點(diǎn)會(huì)自動(dòng)注冊(cè)到Zookeeper;

　　(2)中心節(jié)點(diǎn)(Center Node)用于NeonSAN的控制節(jié)點(diǎn)，類似SDS中的控制平面(Control Plane)，通過一主多從模式來實(shí)現(xiàn)高可用，當(dāng)主控制節(jié)點(diǎn)不可用時(shí)，通過Zookeeper可以自動(dòng)產(chǎn)生新的主控制節(jié)點(diǎn);

　　(3)元數(shù)據(jù)信息存放在MySQL Plus數(shù)據(jù)庫中，MySQL Plus是一個(gè)分布式數(shù)據(jù)庫集群，可以分布到所有NeonSAN之上，主控制節(jié)點(diǎn)可自動(dòng)訪問MySQL Plus以獲取元數(shù)據(jù)信息;

　　(4)Store Node主要用于數(shù)據(jù)服務(wù)，類似SDS中的數(shù)據(jù)平面(Data Plane)。

　　QingStor NeonSAN通過多副本機(jī)制來保證數(shù)據(jù)的高可用，副本數(shù)量可以設(shè)置為一、二、三或更多(默認(rèn)為三)，接收到應(yīng)用服務(wù)器的寫請(qǐng)求之后，其在寫入主副本的同時(shí)，Replicator進(jìn)程會(huì)同時(shí)將數(shù)據(jù)副本發(fā)送到其他NeonSAN節(jié)點(diǎn)，當(dāng)主副本與從副本的都寫入成功之后，再返回應(yīng)用服務(wù)器寫入成功，這種機(jī)制保證了數(shù)據(jù)各副本之間的強(qiáng)一致性。

　　NeonSAN數(shù)據(jù)寫入流程圖，在全閃存陣列中，NeonSAN內(nèi)部存儲(chǔ)網(wǎng)絡(luò)使用支持RDMA技術(shù)的新一代25GbE網(wǎng)絡(luò)，利用RDMA，數(shù)據(jù)本地寫入與遠(yuǎn)程節(jié)點(diǎn)數(shù)據(jù)寫入擁有幾乎一致的響應(yīng)時(shí)間，這可大幅降低NeonSAN數(shù)據(jù)寫入延遲.

　　除了數(shù)據(jù)存儲(chǔ)的高可用之外，存儲(chǔ)系統(tǒng)還需要關(guān)注存儲(chǔ)網(wǎng)絡(luò)的高可用。與傳統(tǒng)SAN存儲(chǔ)的雙控制器或多控制器來實(shí)現(xiàn)高可用不同，青云NeonSAN的存儲(chǔ)網(wǎng)絡(luò)高可用是通過交換機(jī)和數(shù)據(jù)鏈路的冗余來實(shí)現(xiàn)高可用，如下圖所示：

　　每個(gè)NeonSAN節(jié)點(diǎn)上都配備了2張雙端口網(wǎng)卡，每個(gè)端口都連接到不同交換機(jī)上。其中互為冗余的兩臺(tái)前端交換機(jī)作為服務(wù)網(wǎng)絡(luò)，即為前端應(yīng)用服務(wù)器提供數(shù)據(jù)讀取服務(wù);兩臺(tái)支持RDMA技術(shù)(即RoCE，RDMA overConverged Ethernet)的25GbE交換機(jī)作為數(shù)據(jù)網(wǎng)絡(luò)，主要用于NeonSAN的多副本寫入等數(shù)據(jù)交換操作。

　　作為支撐企業(yè)關(guān)鍵應(yīng)用的數(shù)據(jù)存儲(chǔ)解決方案，NeonSAN在注重高可用性的同時(shí)，也致力于提供更高的性能。因此，在NeonSAN開發(fā)過程中，簡(jiǎn)潔是第一原則，所有存儲(chǔ)軟件堆棧都以“簡(jiǎn)單”為第一優(yōu)先級(jí)以充分發(fā)揮NVMe SSD的高性能優(yōu)勢(shì)。

　　除了對(duì)IO路徑進(jìn)行優(yōu)化之外，NeonSAN還提供了諸多企業(yè)存儲(chǔ)常用功能，比如標(biāo)準(zhǔn)iSCSI接口支持，和最新的NVMe over Fabric規(guī)范支持，以及多路徑故障切換、無中斷的數(shù)據(jù)恢復(fù)、遷移和容量均衡等功能。

　　QingStor NeonSAN通過多副本與多數(shù)據(jù)鏈路的機(jī)制達(dá)到數(shù)據(jù)存儲(chǔ)與服務(wù)的高可用，利用NVMe SSD+25GbE(RDMA)來提升存儲(chǔ)性能，輔以“簡(jiǎn)潔”的存儲(chǔ)軟件堆棧最大限度發(fā)揮NVMe SSD的高性能優(yōu)勢(shì)，并支持多種企業(yè)關(guān)鍵應(yīng)用常用功能來滿足不同應(yīng)用場(chǎng)景下的存儲(chǔ)功能需求，這一系列特點(diǎn)已經(jīng)讓NeonSAN具備了替代傳統(tǒng)SAN存儲(chǔ)的基礎(chǔ)。目前，青云QingCloud正在引入Intel提出的SPDK，以進(jìn)一步提升NeonSAN性能。

　　在下一篇文章中，E企研究院將針對(duì)企業(yè)關(guān)鍵應(yīng)用場(chǎng)景特點(diǎn)，構(gòu)建一個(gè)貼近真實(shí)的Oracle RAC數(shù)據(jù)庫應(yīng)用環(huán)境，用以評(píng)估QingStor NeonSAN在真實(shí)環(huán)境中的性能表現(xiàn)，歡迎繼續(xù)關(guān)注!

　　來源: 原創(chuàng)： E企研究院  DT時(shí)代