数智时代数据分析新趋势?云储存催热数据湖
随着企业越来越多的业务向以云为中心的基础架构转移,且对于数据洞察敏捷度的要求也越来越高,多元化分析场景数据成为新的趋势。云储存的需求也催热了数据湖。记者注意到,国内各大云厂商聚焦数据湖,将云计算技术与数据湖技术结合,进一步发挥云自有的弹性扩张、灵活部署优势,让企业快速搭建并运用数据湖技术架构。
据悉,数据湖(Data Lake)概念最早于2011年提出,其比喻是:如果我们把数据比作大自然的水,那么各个江川河流的水未经加工,源源不断地汇聚到数据湖中。有观点认为,数据湖本质上就是一个大数据平台,它随着大数据技术的不断完善,目前成熟的数据湖体系已具备了大数据储存、大数据处理、机器学习、大数据分析等等能力。
“数据是企业的核心资产,如何利用好数据是企业面临的挑战。”5月13日,在北京举办的“腾讯云原生智能数据湖”发布会上,腾讯云专家工程师严俊明表示,据《疫后企业数字化生存调查报告》显示,经过疫情,存在数字化转型提速预期的企业规模占比达60.9%,云计算投入预计增加的企业占比近41%,数据中台投入预计增加的企业占比为41.8%,但自建大数据集群面临运维工作量大,响应不及时,成本持续增加,资源利用率不高等痛点。
严俊明表示,与传统大数据解决方案不同的是,云原生数据湖可以赋予企业更高的数据敏捷度、更优的数据存储分析成本,以及更极致的资源弹性能力,在打破数据孤岛、实现多元化数据分析等方面具有独特优势。
会上,腾讯云首次对外展示完整云端数据湖产品图谱,并推出两款“开箱即用”数据湖产品,数据湖计算服务DLC和数据湖构建DLF。腾讯云大数据产品中心副总经理雷小平称,基于这两款数据湖产品,相比于本地自建大数据集群,数据湖构建时间减少了60%,数据分析计算性能提升35.5%,云端数据湖架构投入使用后可使存算数据量增长75%,配合其他大数据服务,在业务峰值期可以节约30%的硬件资源,以及一半的大数据工程师和运维工程师。
雷小平表示,腾讯云此次推出云原生智能数据湖的背后,是数智时代的数据分析新趋势,包括以云计算为中心、以数据驱动业务及可组合式数据架构。预计到2021年底,云将承载80%的应用开发和部署。与此同时,数据驱动业务的浪潮席卷了各行各业,据知名咨询机构统计,到2025年全球数据总量将超过160ZB,全球数据总量的近 20% 将成为影响日常生活的关键数据,近10%将变为超关键数据。
目前,亚马逊的AWS、Informatica、IBM、微软等公司均有数据湖的相关产品和解决方案。阿里云已推出业内云原生企业级数据湖解决方案,并首次被大规模应用于2020年双11。华为云也将于5月下旬推出FusionInsight MRS云原生数据湖,帮助政企客户解决多场景的数据分析诉求。