如何将数据仓库与数据流结合起来?

学生信息管理系统

企业独立建立了数据湖，包括数字仓库、大数据平台和数据管理平台。随着业务的不断发展，数据的实际应用仍面临着一些挑战，如企业高管难以实时查看和分析当前业务数据的真实指标；数据分析主要依靠手动excel处理；仅限于传统的“需求提升-IT响应”模式，缺乏BI探索分析；可视化界面系统需要升级和专业操作维护，数据分析人力资源匹配不足。

数据编织改进了数据仓库和数据湖的概念，利用基于网络的架构而不是点对点的连接来处理数据，实现了从数据源到分析、洞察力生成、协调和应用的综合数据结构。

今天，你如何将数据仓库与数据流结合起来？Kafka只是你进入数据湖的摄入层吗？您是否使用数据流来实现额外的实时用例？还是Kafka已经成为企业结构中解耦微服务和数据网络结构的战略组成部分？

数据仓库的重点是使用结构化数据报告和商业智能。相反，数据湖是存储和处理原始大数据的同义词。在过去，数据湖使用Hadoop、HDFS和Hive等技术已经建立起来。如今，数据仓库和数据湖的合并已经成为一个单一的解决方案。云原生DWH支持大数据。同样，云原生数据湖也需要传统的商业智能工具。

在解决业务问题方面，数据仓库、数据湖和数据流的概念和结构是互补的。需要不同的能力和SLA来报告和分析存储静态数据，并持续处理实时工作负载的动态数据。开源框架、商业产品和SaaS云服务很多。不幸的是，底层技术经常被误解，过度用于单体和不灵活的架构，并被供应商用于错误的用例。让我们在博客系列中讨论这个困境。了解如何利用云原生技术建立现代数据堆栈。这是第一部分。数据仓库vs.数据湖vs.数据流-朋友，敌人，敌人？