数据湖技术在近实时场景中支持业务的可行性得到了验证

数据分析系统

对于易华录来说，数据湖也是实现数据“收集、存储、治理、使用、易”业务链的第一步。通过数据湖建设业务，公司成功地位于数据元素的全生命服务周期闭环，为建设广泛竞争力的护城河奠定了基础。

随着抖音电子商务场景的实施，数据湖技术在近实时场景中支持业务的可行性得到了验证。最后，从数据研发的角度来看，我们将讨论数据湖未来的挑战和规划。

特别是易华录在抓住时代机遇方面具有独特的优势：一是公司早期数据湖建设项目具有一定的排他性，政府协议政府不再建立新的数据中心存储政府数据，历史数据备份将进入数据湖，实现政府数据的集中存储；二，易华录是中国唯一获得政府数据运营许可证的公司，牌照障碍高，建设竞争护城河；第三，易华录还具有大型数据中心的服务和运营能力，可进一步参与国有资产云运营服务。

Data Lakehouse （湖仓库集成）是一种新的数据架构，它吸收了数据仓库和数据湖的优势。数据分析师和数据科学家可以在同一数据存储中操作数据，也可以为公司的数据处理带来更多的便利。 LakeHouse采用新的系统设计：直接实现与数据仓库中类似的数据结构和数据管理功能，用于数据湖的低成本存储。

对于这种场景，近实时架构提出的解决方案是将实时数据流入湖中，并使用它 Spark 小时调度，合并离线 T - 1 通过Presto实时分析决策，将结果存储在数据湖中。实时和离线数据在湖中的合并不仅解决了纯实时方案中状态稳定性大的问题，而且解决了纯离线方案时效性低的问题。同时，该方案充分利用了现有数据，开发和运营成本相对较低。