数据湖的技术细节和应用

目前，大数据技术已逐渐进入医疗信息领域的成熟阶段，但大数据与人工智能、隐私计算、区块链等新技术的交叉整合仍处于起步阶段。未来，我们可以关注如何有效地整合数据湖和新技术，促进数据湖技术的发展和变革，打破数据湖技术的局限性，使数据更容易使用、更广泛的范围和更智能的治理。

除广告业务外，数据湖还已应用于爱奇艺20多个业务场景，大大提高了数据流通效率，提高了业务速度和效率。关于数据湖的技术细节和应用，您可以阅读之前发布的《爱奇艺数据湖实战》。

科研管理系统

但数据湖技术也存在一些局限性：①数据湖中的数据通常是全量的，这意味着在使用数据之前，需要花费大量的时间和资源来梳理和进入湖中，存在可用性问题；②数据湖的数据通常是分布式存储的，但分布式系统通常具有较高的复杂性和维护成本，存在管理和维护问题；③数据湖中的数据存储和加载通常是动态的，而且往往需要复杂的计算和处理，这可能会导致数据性能的下降和数据存储成本的增加。但随着数据湖技术的不断发展，相关局限性可能会被打破。

为了解决这些问题，广告数据团队和爱奇艺大数据团队积极研究大数据前沿技术，并长期关注数据湖技术的兴起和发展。数据湖不仅支持大规模数据存储，而且具有近实时的及时性和交互级查询效率，非常符合广告数据场景的需要。针对广告数据的一些痛点和难点，我们在数据湖进行了一系列尝试，本文将根据不同的需求和业务场景进行简要介绍。

目前，多个广告数据场景已接入数据湖，大大提高了数据的及时性。下一章将介绍我们对这些场景的架构改造和相关优化。

数据湖发展迅速，在公司内部发展迅速。接下来，广告数据将利用数据湖实现流量和批量的转换。目前，离线数据落地HDFS，时效性差。实时和离线两套计算逻辑容易导致数据不一致，开发和维护成本高。随着实时ETL数据的实施，将统一实时离线代码逻辑，实现流量和批量的集成。

近实时写入：数据湖基于提交频率，数据延迟可达到分钟级 存储流量一体化：数据湖不仅支持实时写入，还支持离线覆盖，两套无异构存储系统 强一致性：数据湖修改保证原子性，可实时写入Exactly Once语义 低成本：数据湖可以共享现有的HDFS等大规模存储

易华录单独创建的商业模式：数据湖、城市数据存储、集中收集和分析的基本需求得到了更好的解决，解决了数据时代数据应用的成本、效率、安全性和架构问题。基于自身的技术能力和行业最佳生态合作伙伴能力资源，易华录可以向数据湖所在地的政府和企业提供优质的基础设施服务和数据资产服务。结合对数据资产化服务的分析，易华录开辟了数据元素“收、存、治、用、易”全生命周期服务的闭环业务，客户可获得一站式服务。

2022年，国家卫生委员会等三部委联合发布了“十四五”国家卫生信息规划，提出了基于数据驱动的生态系统建设的基本原则，以数据资源为关键要素，以新一代信息技术为有力支撑，以数字化、网络化、智能化促进产业转型升级。随着行业对大数据应用和需求的深化，可以提供全球原始数据存储利用数据湖，数据湖只有数据定向预处理，最大限度地避免数据清洁汇总造成的信息损失，为数据深入分析和准确解释结果提供了坚实的基础。

广告业务数据分析场景通常需要查询过去几个月的数据，这涉及大量数据。同时，端到端延迟低，查询速度快。基于Hive的数据仓库无法满足这一需求。在迁移到数据湖之前，广告数据链接采用行业通用的Lambda架构：