3

具体来说，数据仓库主要提供报告和分析；数据湖可以作为中央数据存储库，如在云中建立一个现代可扩展的数据湖。利用云数据仓库的可伸缩性、安全性和分析能力，将数据集成到集中位置，实现所有数据的实时分析。客户可以依靠这个集中的数据存储库来处理各种用例；

3.0时代 - 湖仓一体(2020-至今)：如果说2.0时代的Hadop生态数仓更像是由不同的组件拼接而成「乐高积木」，3.0时代的湖仓一体化(数据仓库 × 数据湖)是自成一体的「漫威宇宙」，所有底层技术都更容易封装，平台趋于SQL化，建模不再纠结于技术的实现，更能快速适应业务的转型发展。实时接近数据输出生效，支持更及时的数据输出。数据的形式不再局限于结构化数据，但也支持非结构化数据集成（图像、音频等）。就像识别惊奇漫画一样，你可以调用惊奇漫画家族的任何成员来履行自己的职责：数据分析、机器学习、搜索推荐等，数据作为一个通用技能包，如在湖中流动，为湖中的所有对象服务。

现代数据架构承认，所谓的普遍分析方法最终会导致不准确。它不是简单地将数据湖与数据仓库结合起来，而是集成数据湖、数据仓库和特殊数据存储，以支持统一的监督和简单的数据移动。

传统的大数据架构面临着计算效率低、批量数据处理慢、湖仓搬迁等诸多问题。该方案共同解决了湖仓并存方案的复杂性和冗余性。基于SelectDB，底层实现了湖仓一体化、一体化，满足了各种负载，实现了离线数仓、数据湖、各种外观的联邦查询，还支持结构化、半结构化的数据分析和负载隔离；在平台层，基于统一的SQL语法，屏蔽底层复杂的异构数据源差异，统一元数据管理，实现高效数据分析。

我们对传统的数字仓库， 对比实时数仓和数据湖。从上图可以看出，传统数字仓库可以支持超级仓库 PB 水平海量数据，但交互查询性能相对较差，偏离线场景，不满足我们对数据实时性的要求；数据湖可支持超海量数据，支持数据更新，查询性能适中，但数据湖近两年开始应用，成熟度低，使用风险高；实时数字仓库适用 PB 级数据存储，支持数据更新，查询性能非常好。结合我们的要求，实时数字仓库更适合我们的使用和需求场景，所以我们最终决定选择实时数字仓库作为数据基础。

OLAP数据库的典型代表是阿里云的AnalyticDB，可以支持大量数据的实时高并发在线分析，具有行列混合存储引擎，支持高吞吐量写入和高并发查询，支持大量数据处理，支持多表、中文和复杂分析；采用向量化技术，支持结构化数据和非结构化数据的集成处理。 分析数据库适用于企业BI任务和高并发实时数据分析任务。分析数据库的应用场景包括数据仓库服务、大数据分析和ETL离线数据处理、数据湖分析、在线高性能查询、多模数据分析和异构数据源联合分析。

数据库和大数据技术之间的界限不断模糊。大数据和数据库存在结构化能力差、计算支持能力不足的问题。随着数据技术的发展和创新，数据库和大数据技术之间的界限不断模糊，两者相互延伸。我们认为传统的大数据技术生态更丰富，但技术要求更高。相比之下，从仓库到湖泊的延伸路线更适合传统企业和中小企业。

其次，在部署系统时，确保数据库和相关组件在同一物理位置。也就是说，部署在同一个服务器上。最后，需要实现数据湖和帆软BI、 DataStack三个系统联动，形成一个集成的数据管理平台，通过可视化平台显示每个系统产生的结果。

虽然上述优秀的安全实践是创造数据湖安全环境的基本步骤，但组织应该从基础开始，以数据为中心，确保数据在数据湖甚至组织内外，无论存在在在哪里，以何种形式，都是安全可控的。

智慧迎新系统

第四层：业务数据生命周期管理。在提供备份数据湖、数据管理服务和开放架构的基础上，为开发测试、数据科学、数据保护、长期归档、灾难恢复等不同业务提供一系列数据生命周期管理。并围绕每个业务提供从收集、准备、提供、使用、处理、归档到销毁的全生命周期管理的数据。