数据中心软件系统对接多套大数据集群
2024-01-07 01:37
61.在本实施例中,为了实现一套数据中心软件系统对接多套大数据集群,统一定义大数据集群并持久记录在数据中心软件系统中,包括一套大数据集群适配器标准化接口定义和一套数据中心软件系统对接大数据集群时的智能路由工具
目标适配器根据数据请求中携带的内容确定。目标适配器用于解耦数据中心软件系统和大数据集群。在标准化数据接口定义上,简化了大数据集群的差异化适配工作量。使用数据请求智能路由方案访问数据,完全屏蔽了软件开发对底层大数据物理存储的集群差异化,使访问多个集群在代码层面与访问一个集群一样简单,在大规模多集群部署场景中,只需要部署一套数据中心软件系统,即实现数据管理开发与一套数据中心软件系统对接的多版本数据集群,大大提高了硬件资源的利用率
其中,数据平台软件系统用于接收用户对系统中工作空间的操作指令,基于操作指令和大数据操作环境信息生成数据请求,根据大数据集群适配器服务列表中的数据请求,并将数据请求发送到目标适配器
此外,本实施例还提供了一个数据请求适应系统,该系统架构可以是上图2所示的结构,包括:数据平台软件系统
19.第二,本发明还提供了一种与大数据集群对接的数据请求适配方法,可应用于任何大数据集群适配器,包括:
:通过大数据集群管理中的运行环境配置,数据中心软件系统将工作空间配置的大数据运行环境信息加载到数据中心软件系统的“数据缓存”中,以调用其他一个或多个工作空间
本站知识库部分内容及素材来源于互联网,如有侵权,联系必删!
标签:数据中台建设方案