智能湖仓将逐步取代传统的数据仓库和数据湖

在线排课软件

在“湖仓一体化”时代，数据湖和数据仓库通过ETL连接，结构仍然独立。数据湖从各种数据源访问原始数据，永远不会删除。数据从数据湖转移到数据仓库，以支持场景分析。虽然现有的数据湖和数据仓库资产可以通过这种方式快速使用，但湖和仓库仍然独立，结构复杂，数据存储多份，效果慢，资源成本和运维成本仍然很高。

近年来，湖仓一体化结构解决了数据湖与数据仓库系统的分离，将数据湖的灵活性、数据丰富性与数据仓库的企业战略/战术分析支持能力相结合，逐步演变为集多源异构数据统一存储、多模型计算分析、统一数据处理于一体的大数据综合解决方案；

Snowflake在国外市场推出了数据云产品，在其云数据仓库的基础上增加了数据湖的功能。亚马逊云技术基于Amazon S3 构建数据湖，集成数据仓库、大数据处理、日志分析、机器学习数据服务，实现智能湖仓库。在国内市场，华为云、阿里云等公共云制造商，滴普科技等新数据库制造商近年来也推出了智能湖仓库产品，并获得了一批行业领先客户。

未来，智能湖仓将逐步取代传统的数据仓库和数据湖，其潜在的可接触市场是整个分析数据库市场。智能湖仓库作为下一代分析数据库，可以直接实现数据仓库的数据结构和数据管理功能，具有传统数据仓库和数据湖的数据存储和计算能力，在功能、性能、成本等方面具有显著优势。因此，我们认为，从长远来看，随着企业数据量的进一步增长和更丰富的分析场景，智能湖仓库将逐渐取代传统的数据仓库和数据湖，其潜在的市场规模是数据仓库和大数据平台软件的市场规模之和。

基于数据湖的第二代数据仓平台 虽然数字仓库的双层架构解决了计算和存储耦合的问题，但与一代数字仓库平台相比，从操作系统到数据湖的ETL和从数字仓库到湖的ETL过程增加了系统的复杂性和脆弱性，数据的重复存储和计算引入了额外的成本。同时，基于数据湖的数据应用失去了丰富的数据仓库管理功能，缺乏必要的事务管理功能和适合数据仓库的性能优化能力。

另一方面，为了应对新趋势，国内外传统数据库制造商、前沿数据库制造商和公共云制造商近年来增加了对分析数据库的投资和布局，他们可能推出了新一代智能湖仓库产品，或对传统数据仓库、数据湖进行了重大升级。

作为最重要的数据分区，数据湖生产数据区和原生数据区是数据湖数据集成汇总的源数据，必须保证数据质量。此外，虽然数据湖不鼓励应用特定模型，但也可以将特定数据区划分为私人应用程序，并提供快速构建数据应用程序的途径。这些应用程序获取数据湖数据，并具有数据处理能力。在数据湖建设的早期阶段，现有的业务应用程序数据可以导入数据湖的特定数据区域。如图4所示，电信运营商数据湖数据分区示例。

制造商的分析数据库产品采用不同的技术架构，代表了不同的技术路线和场景应用能力。目前，市场上主流制造商提供的分析数据库包括MPP数据仓库、数据湖（基于Hadop生态系统）和智能湖仓库。