数据湖、数据仓库和湖仓库的整合

数据湖被定义为一个存储各种格式的系统，包括结构化、半结构化和非结构化数据。此时，架构师也开始考虑如何建立一个单一的系统，并共同发挥数据湖和数据仓库的两个优势。

在上一次观察中，我们提到了数据湖、数据仓库和湖仓库的整合。湖仓库的整合是目前的热门话题。经过本周的学习和甲方父亲的监督（特别感谢），我们用相对简单的图片向您介绍。

数据类型更复杂，数据源更多，数据量更大。为了满足各种高频随机海量数据联合分析的需要，数据需要在仓库、湖泊和OLAP数据库之间来回处理

在存储方面，数据湖中的数据是非结构化的，所有数据都保持原始形式。存储所有数据，并在分析时进行转换。数据仓库通常从事务系统中提取数据。 在将数据加载到数据仓库之前，将清理和转换数据。数据湖是在数据捕获中捕获半结构化和非结构化数据。数据仓库捕获结构化数据并按模式组织。 数据湖的目的是数据湖非常适合深入分析的非结构化数据。数据科学家可以使用具有预测建模和统计分析功能的高级分析工具。数据仓库是数据仓库，非常适合月度报告和其他操作，因为它具有高度的结构化。 在架构中，数据湖通常在存储数据后定义架构。使用较少的初始工作，提供更大的灵活性。在数据仓库中存储数据之前定义架构。

在艾瑞咨询4月份新发布的行业云原生数据湖观察报告中，鲸智湖仓库一体化方案以其丰富的实践和优良的特点，在国内数据湖技术应用生态中处于领先地位。

元数据无缝连接，相互补充，数据仓库模型反馈到数据湖（成为原始数据的一部分），湖的结构化应用沉淀到数据仓库。 通过平台统一管理，可以统一开发湖泊和仓库，存储在不同系统中的数据。 根据业务发展的需要，数据湖和数据仓库的数据决定哪些数据放在数据仓库，哪些数据放在数据湖中，从而形成湖仓库的一体化。 数据在湖中，模型在仓中，反复演练转换。

Dremio是美国的一个数据服务平台（DaaS），致力于加快分析时间，提供数据湖等功能。作为新一代数据湖引擎，Dremio直接在云数据湖存储中实时交互查询和释放数据价值，主要应用于三个场景：商业智能，不依赖IT或数据工程，直接提高数据湖存储的即时和报告查询速度；数据科学，使用工具加速数据发现和挖掘潜在关系；数据现代化，对于现代云数据湖存储方案面临的复杂任务，迁移过程中的分析工作负载可以通过语义层无缝运行。

作者认为数据湖和数据仓库是相互补充的，原始数据的保留为数据分析提供了更多的尝试。目前，随着Hadoop生态的发展越来越成熟，许多银行已经将Hadoop平台纳入数据仓库系统，作为非结构化数据的存储和计算平台，因此也具有数据湖的功能，但银行数据分析师仍习惯于使用结构化数据，即数据仓库中的数据进行业务分析。

“湖”理论的出现似乎弥补了一些“仓库”的不足。然而，纯“湖”似乎离我们有一定的距离：主流业务价值需求、复杂的数据来源和内容、未知和不确定的数据价值，这些看起来非常美丽，非常科幻的“湖”给用户带来了一系列问号。

走班排课软件

毫无疑问，在数字经济时代，数据已成为企业的核心资产。数据湖（DataLake）它已成为继数据库和数据仓库之后敏捷处理数据、提高数据洞察力的又一标志性技术。只有找到家庭背景和方向，数据湖的应用才能有一个光谱。

企业元数据地图通过对接企业业务系统、数据湖或数据仓库，自动获取原始企业数据字典与数据之间的关系。