数据湖只能增加ODS层或最多DWD层

这是数据仓库的一个痛点，增量数据更新。这也是数据湖一直声称的亮点，也是数据仓库的痛点。然而，真正的情况是，数据湖只能增加ODS层或最多DWD层。在逻辑更复杂的情况下，数据湖无能为力。因为在两个以上表的关联中，很难准确区分增量数据。因此，到目前为止，数据湖只实现了从ODS层到DWD层的增量加工，无法进行向上或更多层次的加工。实际情况是，只要我们在接口数据上定义数据更新时间，或者通过CDC日志同步数据库更改日志，我们就可以在数据仓库中实现增量。

只能说数据湖发现了数据仓库的弱点，但并没有解决这个弱点。因此，数据湖只能作为数据仓库的锦上添花功能。与其说我们需要引入数据湖，不如说数据仓库平台需要引入对象存储。

走班排课软件

根据我个人的理解，数据湖诞生的根本原因是数据仓库的ODS占用了太多的存储（一般来说，超过50%），但数据价值密度相对较低，HDFS强制三份存储数据，导致历史数据无法删除和浪费存储空间。此时，以S3为代表的对象存储非常有价值。至于半结构化和结构化的数据，如果是视频或图片，对象存储确实更友好（对象存储更好地支持小文件）；如果是日志数据，保存到HDFS也很麻烦，所以我希望增量写入数据湖。然而，这些数据实际上是低价值密度的数据，没有必要进行太多的分析。正是因为人们无法分析这些数据，所以他们需要把它们交给人工智能。

在土地、劳动力、技术和资金之后，数据被定义为第五个生产要素。大同首先巩固了“数字底座”，加强了“数据能力化”个市直属部门数据建立了收集、主题、专题等数据池和基础数据湖，总承载数据超过18亿。随后，大同还将沉淀城市知识体系，形成灵活调用、自由组装的积木数据组件，以实体化人、地、事、物、组织数据，提高数据利用效率。

在土地、劳动力、技术和资金之后，数据被定义为第五个生产要素。为了提高“数据能力”，大同首先巩固了“数字基础”，访问了26个市政部门的数据，建立了收集、主题、主题等数据池和基础数据湖，总承载了18亿多个数据。随后，大同还将沉淀城市知识体系，形成灵活调用、自由组装的积木数据组件，以实体化人、地、事、物、组织数据，提高数据利用效率。