为何强调流式湖仓?数字智慧公司打造集数据存储/数据处理/数据
当用户同时拥有数据仓库和数据湖时,流式湖仓服务是另一种解决方案。为何强调流式湖仓?余丽华表示,大多数湖仓库不强调批量一体化的概念,只是说数据仓库和数据湖可以结合在一起,提供查询能力,但没有批量一体化能力,导致问题,因为底部存储不能统一,同一数据,数据团队经常向数据消费者提供两个表,一个表是T 1离线数据,另一个表是实时数据。
事实上,数据仓库、数据湖和湖泊仓库都是典型的集中模式。随着云时代的到来,集中模式不再适用。整个行业、架构和信息呈现出新的趋势,分散的分析模式将是未来。
利用数据湖的多元化拼接功能,减少join操作,解决多数据源集成问题,简化数据链路。也可以通过将离线维表导入近实时计算,重用离线计算结果来简化链路。
数据湖建设的本质是项目业务,数据湖运营是平台业务。因此,焦点的转变也意味着公司逐渐从项目公司升级为平台公司。一般来说,在计算机行业,项目系统一般被认为难以预测长期确定性,往往是一次性收入和低利润水平;平台类型被认为是可持续、可预测和低边际成本。
易华录已经进行了各种探索。例如,2021年,易华录宣布将以合资企业的形式成立数字智慧公司,引进高水平的技术合作伙伴,进一步提高数据湖的数据运营能力。数字智慧公司打造了集数据存储/数据处理/数据计算/数据应用/数据共享为一体的大数据SaaS服务平台,可提供高性能、低成本、灵活方便的大数据服务。
传统的数据仓库、数据湖甚至湖仓库技术本质上是数据库和大数据的有机结合。除了利用技术解决数据的及时性问题,利用服务产生数据价值外,实现数据治理也是一个非常重要的点。
目前“比特 瓦特的创新合作模式尚未实施。这种模式的具体实施和推广按已建数据湖城市和未建数据湖城市划分。对于已建数据湖的城市,“比特 “瓦特”模式可由政府选择向易华录合作伙伴提供能耗指标和合作伙伴补贴。易华录将这部分蓝光存储免费赠送给当地企业。对于尚未建成数据湖的城市,易华录在获得当地政府业务认可后,可以单独或联合合作伙伴进行产业引进,获得政府补贴。“比特 公司团队在特定城市探索了瓦特的创新合作模式,得到了政府的很好认可和回应。预计该项目将在今年内实施。
数据库或数据仓库的存储受到实现原理和硬件条件的限制,导致存储大量数据的成本过高。为了解决这些问题,有HDFS/对象存储等技术解决方案。如果在数据湖场景中使用这种存储成本较低的技术架构,将大大节省企业的成本。结合生命周期管理能力,湖内数据可以更好地分层(冷温热存储在不同的存储介质中:HDD、SSD、MEM),不要担心是保留数据还是删除数据以节省成本。
数据湖可以帮助企业实现数据集中管理等能力。数据湖集成了先进的数据科学、机器学习和人工智能技术,帮助企业建立更优化的数据操作模型,为企业提供预测分析、推荐模型等能力,可以刺激企业能力的持续增长,不断使企业成长 。
回顾易华录过去的行动,我们将更清楚地看到其发展思路、调整方向和目的。公司以超级存储为起点,以数据湖建设为起点,逐步进入数据运营业务,形成数据“收集、存储、治理、使用、易”业务链的全覆盖,最大限度地振兴数据元素的价值。
值得注意的是,运营业务不仅具有较大的增长潜力,而且具有较高的盈利弹性。一般来说,与数据湖建设业务相比,运营业务毛利率更高,边际成本更低,规模效应更明显,预计运营业务利润将远高于收入增长速度。
数据湖建设属于重资产模式,经营属于轻资产业务。重资产投资意味着建设周期和投资回报周期长;也会导致高折旧,大大侵蚀当年的净利润。重资产模式也限制了扩张速度。在轻资产模式下,复制效率和初始内部回报率较高。
本站知识库部分内容及素材来源于互联网,如有侵权,联系必删!