戴尔易安信数据处理平台为流式应用程序提供基础

2021-09-30 22:08  [来源:未知]  [作者:admin]  [责编:admin]
字体:【

文学作品往往是将来科技的序曲,讲述人类与月亮人交往的《梦游》,超前为17世纪的人们展示了零重力状况、宇宙服。上世纪90年代出版的《雪崩》则以宏大年夜的叙事笔触,描述了一个与实际世界平行的虚拟世界,设定实际人类经由过程VR设备与虚拟人合谋生活。

恰是这部充斥赛博朋克风格的科幻小说,提出了超出于实际宇宙的——元宇宙(Metaverse)概念。本年3月,元宇宙第一概念股Roblox上市,紧接着,7月扎克伯格宣布将来5年要把Facebook转型成为一家元宇宙公司。一时光,国表里科技巨擘纷纷构造元宇宙。

风从虎、云从龙,主打沉浸感、低延迟、及时交互的元宇宙要想由概念转为实际,离不开VR、5G、AI、云计算等技巧的支撑。与此同时,若何对AR/VR、可穿戴设备、传感器等产生的宏大年夜及时流数据进行存储、处理,也是元宇宙真正落地面对的挑衅。

近年来,及时应用处景逐渐增多,企业和组织须要及时处理节假日出行订单、外卖订单、路况变乱信息等及时数据,这就请求强大年夜的流分析和存储才能。

是以,戴尔科技集团从零开端构建了一套及时流式数据分析与存储解决筹划——戴尔易安信流数据处理平台(StreamingData Platform,SDP),旨在为编写靠得住的流式应用法度榜样供给基本。

该平台在K8s上构建,采取微办事架构,经由过程同一的K8sOperator方法安排Pravega与Flink,集合了存储和计算平台,并且实现安然、多租户等诸多特点,为企业用户供给了一体化的数据存储和分析平台。

SDP最基本的组件是它的流式数据存储引擎,即Pravega。作为平台内的自研开源组件,Pravega承担着为所有其它组件供给流式数据存取办事的重担,用以简化及时数据处理和存储需求。

Pravega采取了分层存储架构。事宜可以存储在低延迟/高IOPS的存储(第一层存储)和更高吞吐量的存储(第二层存储)中。经由过程这种方法,冷热数据分别有效降低了数据存储成本。上层应用ApacheZooKeeper作为分布式调和器,并供给同一的Stream抽象。

Pravega专注于流式数据存储的靠得住性和及时性,同时供给批流一体的StreamAPI。它解决了大年夜数据处理体系面对的“计算是原生的流计算,而存储却不是原生的流存储”难题。经由Pravega抽象后的流式数据具有持久性、伸缩性、只追加等一系列特点。

今朝,Pravega在游乐土举措措施的预防性保护、工业物联网中的异常检测、建筑业中施工的精确性和资本跟踪等方面,均发挥了感化。

基于应用处景丰富,Pravega受到了IT开辟者的承认和迎接。是以,由戴尔中国研发中间主办的首届Pravega创客大年夜赛,于今夏发出“豪杰帖”时,获得了社会各界的广泛存眷。相干报道的浏览量累计冲破71.9万次,互动量更是达到了1.7万余次。

本次大年夜赛吸引到23个团队同场竞技,摸索开源编程范畴的更多可能性。从网约车危险驾驶行动及时监控与预警、工业物联网操作体系,到流计算在计算机视觉范畴的应用,这些沪上“长宁区大年夜神”、“数据高手”应用数据流和Pravega创建代码,向外界展示立异带来的价值。

经由严格的初选之后,共有十支参赛团队脱颖而出,跻身决赛。这些佼佼者进一步向评委们阐释了各自的项目,充分展示出团队对于立异和开源平台的保持和信念。

最终,来自戴尔中国研发中间E-LAB和OCTO团队、云原生计算基金会(CNCF)Pravega社区团队、ApacheFlink 社区团队、T-Footprint团队以及始创公司MatrixOrigin团队,凭借各自的优良项目博得了评委们的青睐!

本届优良技巧演讲奖由李三平、陈悠获得,下面为大年夜家揭晓各支团队摘得的奖项及出色议题。

一等奖

芯片软件CI/CD大年夜数据

分析与状况监测

—— TerryYU、DavidYUAN、CharlesGUO,来自T-Footprint(NXP/AMD的设计公司)

来自T-Footprint的团队在芯片研发过程中洞察到在日常CI/CD的过程中涉及到大年夜量的测试设备,海量的测试成果数据在后续的定位中往往须要投入大年夜量的人工资本去进行诸如缺点分类、测试状况统计等工作,最终导致效力低且成本高。

经由过程基于Pravega对数据的及时采集和以及存储,应用ApacheFlink为计算引擎以及可视化组件构建出一套完全的解决筹划,今朝的该项目已经被落地到生成测试情况。

二等奖

Flink武魂殿

——蒋晓峰、苏轩楠、任庆盛,来自ApacheFlink社区

该项目基于当前火热的以Snowflake和Databricks主导Lakehouse架构进行了思虑,结合今朝主流Lakehouse技巧栈之一的ApacheHudi,经由过程从开放性、工作负载包涵性等方面进行的分析,将CNCFPravega作为全部架构中的数据持久化层,落地应用到Lakehouse的场景中。

二等奖

网约车危险驾驶行动

及时监控与预警

——罗玉皓、王芳、陈燕飞、何毅,来自戴尔E-LAB团队

驾驶员者最危险的一面是驾驶员本身的干扰造成的不规范驾驶行动。借助视频采集设备和传感器,及时采集司机驾驶行动AI视频智能检测,辨认驾驶员不规范驾驶行动,督促司机晋升安然意识并优化驾驶行动,为乘客供给全方位的安然保障。

Pravega应用低延时、高并发和高吞吐请求,以及对及时数据和汗青数据的同一处理才能可以或许完成对多路视频的及时分析和汗青视频的回溯。在此次车联网筹划中的应用,展示了其机能的优良性,能赞助降低开辟,运维和存储成本,缩短开辟周期。

三等奖

Hutosys工业物联网操作体系

——黄策、张翔,来自CNCFPravega社区

三等奖

StreamingOLAP

——魏子然、李慧静、秦姝琦、张潇,来自MatrixOrigin公司

三等奖

基于Pravega的数据蒸馏筹划

——李三平、陈强、倪嘉呈、王子嘉,来自戴尔OCTO团队

三等奖

基于Pravega的风控解决筹划

——陈悠、张康、汤庆凯,来自CNCFPravega社区

三等奖

流计算在计算机视觉范畴的应用

——耿飙、周云峰、蔺广琛,来自ApacheFlink社区

再次恭喜本届大年夜赛的获胜团队!在后续的推文中,我们将具体解读此次大年夜赛中的优胜项目,请大年夜家拭目以待。愿Pravega这只“青鸟”将来赞助更多开辟者,摸索分布式流式体系背后的机密!


相关新闻
关于我们 | 广告服务 | 舆情服务 | 网站建设 | 商务合作 | 诚聘英才 | 法律声明 | 联系我们
广告合作QQ:748492175 | 邮箱:748492175@qq.com 版权所有:中国南京网 未经授权禁止复制或建立镜像
相关作品的原创性、文中陈述文字以及内容数据庞杂本站无法一一核实,如果您发现本网站上有侵犯您的合法权益的内容,请联系我们,本网站将立即予以删除!
中国互联网违法和不良信息举报中心  全国新闻记者证管理及核验网络系统  网络警察报警岗亭