戴爾企業(yè)首屆Pravega創(chuàng)客大賽探索開源編程更多可能性

2021/09/29 16:34 戴爾易安信解決方案訂閱號

　　文章轉(zhuǎn)自：戴爾易安信解決方案訂閱號

　　文學(xué)作品往往是未來科技的序曲，講述人類與月亮人交往的《夢游》，超前為17世紀(jì)的人們展示了零重力狀態(tài)、宇宙服。上世紀(jì)90年代出版的《雪崩》則以宏大的敘事筆觸，描繪了一個與現(xiàn)實世界平行的虛擬世界，設(shè)定現(xiàn)實人類通過VR設(shè)備與虛擬人共同生活。

　　正是這部充滿賽博朋克風(fēng)格的科幻小說，提出了超越于現(xiàn)實宇宙的——元宇宙(Metaverse)概念。今年3月，元宇宙第一概念股Roblox上市，緊接著，7月扎克伯格宣布未來5年要把Facebook轉(zhuǎn)型成為一家元宇宙公司。一時間，國內(nèi)外科技巨頭紛紛布局元宇宙。

　　風(fēng)從虎、云從龍，主打沉浸感、低延遲、實時交互的元宇宙要想由概念轉(zhuǎn)為現(xiàn)實，離不開VR、5G、AI、云計算等技術(shù)的支持。與此同時，如何對AR/VR、可穿戴設(shè)備、傳感器等產(chǎn)生的龐大實時流數(shù)據(jù)進(jìn)行存儲、處理，也是元宇宙真正落地面臨的挑戰(zhàn)。

　　近年來，實時應(yīng)用場景逐漸增多，企業(yè)和組織需要及時處理節(jié)假日出行訂單、外賣訂單、路況事故信息等實時數(shù)據(jù)，這就要求強大的流分析和存儲能力。

　　因此，戴爾科技集團(tuán)從零開始構(gòu)建了一套實時流式數(shù)據(jù)分析與存儲解決方案——戴爾易安信流數(shù)據(jù)處理平臺(Streaming Data Platform,SDP)，旨在為編寫可靠的流式應(yīng)用程序提供基礎(chǔ)。

　　該平臺在K8s上構(gòu)建，采用微服務(wù)架構(gòu)，通過統(tǒng)一的K8s Operator方式部署Pravega與Flink，集合了存儲和計算平臺，并且實現(xiàn)安全、多租戶等諸多特性，為企業(yè)用戶提供了一體化的數(shù)據(jù)存儲和分析平臺。

　　SDP最基礎(chǔ)的組件是它的流式數(shù)據(jù)存儲引擎，即Pravega。作為平臺內(nèi)的自研開源組件，Pravega承擔(dān)著為所有其它組件提供流式數(shù)據(jù)存取服務(wù)的重任，用以簡化實時數(shù)據(jù)處理和存儲需求。

　　Pravega采用了分層存儲架構(gòu)。事件可以存儲在低延遲/高IOPS的存儲(第一層存儲)和更高吞吐量的存儲(第二層存儲)中。通過這種方式，冷熱數(shù)據(jù)分離有效降低了數(shù)據(jù)存儲成本。上層使用Apache ZooKeeper作為分布式協(xié)調(diào)器，并提供統(tǒng)一的Stream抽象。

　　Pravega專注于流式數(shù)據(jù)存儲的可靠性和實時性，同時提供批流一體的Stream API。它解決了大數(shù)據(jù)處理系統(tǒng)面臨的“計算是原生的流計算，而存儲卻不是原生的流存儲”難題。經(jīng)過Pravega抽象后的流式數(shù)據(jù)具有持久性、伸縮性、只追加等一系列特性。

　　目前，Pravega在游樂園設(shè)施的預(yù)防性維護(hù)、工業(yè)物聯(lián)網(wǎng)中的異常檢測、建筑業(yè)中施工的準(zhǔn)確性和資源跟蹤等方面，均發(fā)揮了作用。

　　基于應(yīng)用場景豐富，Pravega受到了IT開發(fā)者的認(rèn)可和歡迎。因此，由戴爾中國研發(fā)中心主辦的首屆Pravega創(chuàng)客大賽，于今夏發(fā)出“英雄帖”時，獲得了社會各界的廣泛關(guān)注。相關(guān)報道的瀏覽量累計突破71.9萬次，互動量更是達(dá)到了1.7萬余次。

　　本次大賽吸引到23個團(tuán)隊同場競技，探索開源編程領(lǐng)域的更多可能性。從網(wǎng)約車危險駕駛行為實時監(jiān)控與預(yù)警、工業(yè)物聯(lián)網(wǎng)操作系統(tǒng)，到流計算在計算機(jī)視覺領(lǐng)域的應(yīng)用，這些滬上“長寧區(qū)大神”、“數(shù)據(jù)高手”使用數(shù)據(jù)流和Pravega創(chuàng)建代碼，向外界展示創(chuàng)新帶來的價值。

　　經(jīng)過嚴(yán)格的初選之后，共有十支參賽團(tuán)隊脫穎而出，躋身決賽。這些佼佼者進(jìn)一步向評委們闡釋了各自的項目，充分展現(xiàn)出團(tuán)隊對于創(chuàng)新和開源平臺的堅持和信念。

　　最終，來自戴爾中國研發(fā)中心E-LAB和OCTO團(tuán)隊、云原生計算基金會(CNCF)Pravega社區(qū)團(tuán)隊、Apache Flink 社區(qū)團(tuán)隊、T-Footprint團(tuán)隊以及初創(chuàng)公司MatrixOrigin團(tuán)隊，憑借各自的優(yōu)秀項目贏得了評委們的青睞!

　　本屆優(yōu)秀技術(shù)演講獎由李三平、陳悠獲得，下面為大家揭曉各支團(tuán)隊摘得的獎項及精彩議題。

　　一等獎

　　芯片軟件CI/CD大數(shù)據(jù)

　　分析與狀態(tài)監(jiān)測

　　—— Terry YU、David YUAN、Charles GUO，來自T-Footprint(NXP/AMD的設(shè)計公司)

　　來自T-Footprint的團(tuán)隊在芯片研發(fā)過程中洞察到在日常CI/CD的過程中涉及到大量的測試設(shè)備，海量的測試結(jié)果數(shù)據(jù)在后續(xù)的定位中往往需要投入大量的人工資源去進(jìn)行諸如錯誤分類、測試狀態(tài)統(tǒng)計等工作，最終導(dǎo)致效率低且成本高。

　　通過基于Pravega對數(shù)據(jù)的實時采集和以及存儲，利用Apache Flink為計算引擎以及可視化組件構(gòu)建出一套完整的解決方案，目前的該項目已經(jīng)被落地到生成測試環(huán)境。

　　二等獎

　　Flink 武魂殿

　　—— 蔣曉峰、蘇軒楠、任慶盛，來自Apache Flink社區(qū)

　　該項目基于當(dāng)前火熱的以Snowflake和Databricks主導(dǎo)Lakehouse架構(gòu)進(jìn)行了思考，結(jié)合目前主流Lakehouse技術(shù)棧之一的Apache Hudi，通過從開放性、工作負(fù)載包容性等方面進(jìn)行的分析，將CNCF Pravega作為整個架構(gòu)中的數(shù)據(jù)持久化層，落地應(yīng)用到Lakehouse的場景中。

　　二等獎

　　網(wǎng)約車危險駕駛行為

　　實時監(jiān)控與預(yù)警

　　——羅玉皓、王芳、陳燕飛、何毅，來自戴爾E-LAB團(tuán)隊

　　駕駛員者最危險的一面是駕駛員本身的干擾造成的不規(guī)范駕駛行為。借助視頻采集設(shè)備和傳感器，實時采集司機(jī)駕駛行為AI視頻智能檢測，識別駕駛員不規(guī)范駕駛行為，督促司機(jī)提升安全意識并優(yōu)化駕駛行為，為乘客提供全方位的安全保障。

　　Pravega利用低延時、高并發(fā)和高吞吐要求，以及對實時數(shù)據(jù)和歷史數(shù)據(jù)的統(tǒng)一處理能力能夠完成對多路視頻的實時分析和歷史視頻的回溯。在此次車聯(lián)網(wǎng)方案中的應(yīng)用，展示了其性能的優(yōu)異性，能幫助降低開發(fā)，運維和存儲成本，縮短開發(fā)周期。

　　三等獎

　　Hutosys工業(yè)物聯(lián)網(wǎng)操作系統(tǒng)