X 
微信扫码联系客服
获取报价、解决方案


李经理
15150181012
首页 > 知识库 > 数据中台> 数据中台知识简介(数据中台是什么)
数据中台在线试用
数据中台
在线试用
数据中台解决方案
数据中台
解决方案下载
数据中台源码
数据中台
源码授权
数据中台报价
数据中台
产品报价

数据中台知识简介(数据中台是什么)

2021-04-02 08:55

第一部分 简述

1.1简述

数据质量问题一直是数据跨部门共享过程中的一个典型问题,常反应数据不准确、不一致、不及时等问题。主要原因在于,现阶段还未完善统一的信息标准规范,在数据质量方面缺乏相应的工具来辅助进行质量提升。

数据安全问题也是数据管理的核心关注点,数据在同步、存储、查询、共享等方面的安全需要重点关注,防止数据泄露。通过相应的数据安全管理工具或模块加强数据安全防范。
在数据治理的基础上,提供完备的数据开发工具,便于用户进行数据的开发后形成数据集,供全校用户查询和使用,也为上层应用提供数据支撑,逐步形成数据中台,以提高数据服务能力,减小应用开发难度。

1.2用户登录

用户进入系统需要通过用户认证,如下图的界面是登陆页面。

用户登陆界面

这里填写自己的用户名和密码,如果填写错误,点击“登录”后,会出现错误提示信息。如果填写正确,便可以跳转进入系统内容页面。

错误提示信息

登录成功后,则可以进入该系统

系统界面

在系统的右上方会显示登陆的用户名,比如我们的登录账户为admin,那么就会显示在右上角

1.3 应用环境

1.3.1 服务器硬件环境

配置

最小配置

建议配置

CPU

P4 1G

P4 1G(or higher)

内存

1G

2G(or more)

硬盘(剩余空间)

60G

120G(or more)

网络

20M

100M

打印机

操作系统所能适配的打印机

操作系统所能适配的打印机

显示适配器

16bit,分辨率:800*600

32bit,分辨率:1020*768(or higher)

1.3.2 服务器软件环境

a.linux 64位操作系统

b. jdk1.8或以上

c.Mysql 5.6 或以上

d. Office 2013或以上(用于导入导出Excel)

e. redis数据库

1.3.3 客户端软件环境

客户端访问所需软件:IE7.0及以上,或其它常规浏览器均可(Chrome,Firefox,Safari等)。

第二部分 基础架构

2.1 系统结构

2.1.1 平台架构

基于IDEA开发工具开发,基础框架如下,如图2.1所示。

图2.1 平台架构

采用浏览器方式使得易用性更强,客户端不需安装专用软件,系统的管理维护十分简单。

2.2 业务功能

2.2.1 元数据管理

2.2.1.1数据源管理

点击“元数据管理-数据源管理”,数据源管理包括查询,注册,编辑,删除,测试,是否启用设置等功能。

在查询区域输入查询条件,如:注册系统名,数据库连接用户名等,点击查询按钮即可进行查询。

数据源查询

点击注册按钮,输入数据源名称,数据库类型,数据库驱动,数据库连接字符串,数据库连接用户名,数据库连接用户密码和数据库对象所有者等信息,点击提交按钮可完成注册。

注册数据源

点击删除按钮,可对选中的数据源进行删除。

删除数据源

点击操作下的编辑按钮可对该数据源进行编辑

编辑数据源

点击操作下的测试按钮,可以测试该数据源是否能连通

测试数据源

点击是否启用开关按钮,可设置该数据源是否启用

设置是否启用

2.2.1.2数据对象管理

点击“元数据管理-数据对象管理”,数据对象管理包括分类查询,数据对象查询,新增数据对象,删除,编辑,生成,变更数据分类,是否启用设置等功能。

数据对象管理

点击数据中心树节点,展开所有分类

数据对象分类树

在树搜索框输入关键字,可查询对应分类

查询分类树

点击叶子菜单,可看到该分类下所有的数据对象

数据对象

点击查询按钮,可根据数据对象名查询该分类下的数据对象

查询数据对象

点击新增数据对象按钮,可在该分类下下添加数据对象

新增数据对象

点击删除按钮,即可删除选中的数据对象

删除数据对象

点击操作下的编辑按钮,可对该数据对象进行编辑,包括基本信息和字段属性

修改对象基本信息

修改对象字段属性

点击字段属性的是否启用按钮,可设置该字段是否启用;

点击字段属性的新建按钮,可添加字段属性

添加字段属性

点击字段属性的编辑按钮,可对该字段进行编辑

编辑字段属性

点击编辑下的生成按钮,即可在数据库生成该表

数据对象生成表

点击变更数据对象按钮,可将该数据对象指定到其他分类下

变更数据分类

2.2.2 主数据管理

2.2.2.1主数据概要

点击“主数据管理-主数据概要”,主数据概要包括总数据数,集成数据,数据资产,数据量TOP10等统计数据

主数据概要

2.2.2.2主数据管理

点击“主数据管理-主数据管理”,主数据管理包括数据对象分类树查询,主数据总体情况,主数据高级查询,删除等。

主数据管理

点击分类树的叶子菜单,可查看该数据对象表中的数据信息

数据对象数据

点击高级查询按钮,可对主数据进行查询

高级查询

点击高级查询的添加按钮,可添加高级查询条件

添加查询条件

点击高级查询的删除按钮,可删除该查询条件

删除查询条件

点击高级查询的编辑按钮,可对该查询条件进行编辑

编辑查询条件

点击主数据管理的删除按钮,可删除选中的主数据

删除主数据

2.2.3 代码标准管理

2.2.3.1代码标准管理

点击“代码标准管理-代码标准管理”,代码标准管理包括代码分类树查询,代码标准统计,新增代码标准,删除代码标准,编辑代码标准,是否启用代码标准等。

代码标准管理

点击分类树叶子菜单,可看到该分类下的代码标准

代码标准

点击新增按钮,可在该分类下添加代码标准

添加代码标准

点击编辑按钮,可对该代码标准进行编辑

编辑代码标准

点击删除按钮,可以删除该代码标准

删除代码标准

点击设置是否启用,可对该代码标准设置是否启用

点击标准模式,可看到代码的标准模式信息

标准模式

点击代码映射关系,可看到该代码的代码映射关系

代码映射关系

2.2.3.2代码标准映射管理

点击“代码标准管理-代码标准映射管理”,代码标准映射管理包括代码分类树查询,新增代码标准映射,删除代码标准映射,编辑代码标准映射等。

代码标准映射管理

点击代码分类树子菜单,可看到该分类下的代码标准映射

代码标准映射列表

点击新增按钮,可在该分类下添加代码标准映射

新增代码标准映射

点击编辑按钮,可对该代码标准映射进行编辑

编辑代码标准映射

点击删除按钮,可对选中的代码标准映射进行删除

删除代码标准映射

2.2.3.3代码标准一致性检查

点击“代码标准管理-代码标准一致性检查”,代码标准一致性检查包括概况,待处理,已处理等。

点击概况,可看到一致性检查结果概况

一致性检查概况

点击待处理,可看到一致性检查待处理情况

一致性检查待处理

点击已处理,可看到一致性检查已处理情况

一致性检查已处理

2.2.4 运行监控管理

2.2.4.1数据集成管理

点击“运行监控管理-数据集成管理”,数据集成管理包括集成概况,接口信息,任务计划,接口运行日志等。

点击集成概况,可看到集成接口相关信息

运行接口集成概况

点击接口信息,可看到接口的相关信息

运行接口信息

点击任务计划,可看到接口运行的任务计划

运行接口任务计划

点击接口运行日志,可看到接口运行日志信息

接口运行日志

点击接口运行日志的详细按钮,可看到接口运行的详细日志

接口运行详细日志

2.2.4.2数据库监控

点击“运行监控管理-数据库监控”,数据库监控包括数据库连接数,数据库表空间(主数据),数据库表空间(数据集成库),URI监控,Spring监控等。

数据库监控

URI监控

Spring监控

2.2.5 数据共享接口

2.2.5.1数据共享服务

点击“数据共享接口-数据共享服务”,数据共享服务包括数据服务统计,服务使用提醒,数据调用统计,服务安全提醒等。

数据共享服务

2.2.5.2数据服务管理

点击“数据共享接口-数据服务管理”,数据服务管理包括搜索,添加,修改,删除,服务说明,预览,设置启用状态等。

数据服务搜索

点击添加按钮,新增数据服务

添加数据服务第一步

输入服务名称,数据来源,服务描述等信息,点击下一步,选择要发布服务的表

选择发布服务的表

然后选择出参入参的字段

选择发布服务的字段

点击编辑按钮,可对该服务进行编辑

编辑服务

点击服务说明,可看到该服务的调用说明

服务说明

点击预览按钮,可查看该服务的数据,在配置参数框中输入服务预览中的服务参数,即可进行查询

服务预览

点击删除按钮,可删除该服务

删除服务

点击服务状态按钮,可设置该服务是否启用

启用服务

2.2.5.3数据服务授权

点击“数据共享接口-数据服务授权”,数据服务授权包括服务搜索,是否启用,授权等。

服务搜索

点击授权按钮,可对该服务进行授权

服务授权

点击服务授权的添加按钮,可添加服务授权

新增服务授权

点击服务授权的删除按钮,可删除选中的服务授权

删除服务授权

2.2.5.4服务运行监控

点击“数据共享接口-服务运行监控”,服务运行监控服务调用信息查询及监控等。

服务运行监控查询

点击监控按钮,可看到服务运行监控信息

服务运行监控

2.2.5.5服务调用统计

点击“数据共享接口-服务调用统计”,服务调用统计包括服务调用等信息统计。

服务调用统计

2.2.5.6数据脱敏

点击“数据共享接口-数据脱敏”,数据脱敏包括添加,编辑,删除等功能。

数据脱敏

点击添加按钮,可添加脱敏规则

添加脱敏规则

点击删除按钮,可删除该脱敏规则

删除脱敏规则

点击编辑按钮,可对该脱敏规则进行编辑和配置

编辑脱敏规则

点击编辑脱敏规则的添加按钮,可添加该规则的配置,选择表和字段进行添加配置

添加脱敏字段

点击编辑脱敏规则下的删除按钮,可删除该脱敏字段

删除脱敏字段

2.2.6 质量检测管理

2.2.6.1质量检测

点击“质量检测管理-质量检测”,质量检测包括按规则统计检测项,按规则统计违规率,违规数TOP10表等。

质量检测

2.2.6.2质量检测模板

点击“质量检测管理-质量检测模板”,质量检测模板包括添加,删除,修改等。

质量检测模板

点击添加按钮,可添加质量检测模板

添加质量检测模板

点击编辑按钮,可对该质量检测模板进行编辑

编辑质量检测模板

点击删除按钮,可删除选中的质量检测模板

删除质量检测模板

2.2.6.3质量规则配置

点击“质量检测管理-质量规则配置”,质量规则配置包括查询,添加,删除,修改,调试等。

点击数据目录叶子菜单,可看到该数据对象的规则配置信息

质量规则配置

点击查询按钮,可查询该模板的配置

质量规则配置查询

点击添加按钮,可添加该数据对象的质量规则配置

添加质量规则配置

点击删除按钮,可删除选中的质量规则配置

删除质量规则配置

点击编辑按钮,可对该质量规则配置进行编辑

编辑质量规则配置

点击调试按钮,可调试该质量规则配置

调试质量规则配置

2.2.6.4数据质量查询

点击“质量检测管理-数据质量查询”,数据质量查询包括数据目录查询,数据中心整体质量情况,检测日志查询,违规明细查看等。

数据质量查询

点击数据目录的叶子菜单,即可看到该数据对象的检测结果

检测结果

点击查询按钮,可查询该模板下的检测结果

检测结果查询

点击违规明细,可查看该检测结果的违规数据

违规明细

2.2.6.5数据质量提醒

点击“质量检测管理-数据质量提醒”,数据质量提醒包括发件箱配置,添加接收人员,编辑接收人员,删除接收人员,发送邮件等。

数据质量提醒

点击保存按钮,可保存修改

招生管理系统

保存发件箱配置

点击添加按钮,可添加接收人,若用户名不存在,会提示用户名不存在

添加接收人群

点击删除按钮,可删除选中的接收人群

删除接收人群

点击编辑按钮,可对该接收人员进行编辑

编辑接收人群

点击发送邮件按钮,可对选中的人群发送邮件报告

2.2.7 数据备份处理

2.2.7.1数据备份

点击“数据备份处理-数据备份”,数据备份包括定时配置,是否启动初始化,启用任务,停止任务,重启任务,编辑,删除和任务日志等。

定时配置

点击是否启动初始化按钮,可设置该定时任务是否启动初始化状态

点击启用任务,即可启动该定时任务

启动任务

点击已启动任务后的停止任务按钮,可停止该任务

停止服务

点击已启动任务后的重启按钮,可重新启动该任务

重启服务

点击任务日志,可看到任务运行的日志

定时任务日志

2.2.7.2系统日志

点击“数据备份处理-系统日志”,系统日志模块包括访问统计,平台访问日志,平台操作日志等。

模块访问统计

平台访问日志

平台操作日志

2.2.7.3数据库查询

点击“数据备份处理-数据库查询,数据库查询包括历史记录,数据库查询等。

数据库查询历史记录

点击数据库查询,可进入数据库查询页面

数据库查询

输入sql语句后,点击保存按钮,可保存该sql语句到历史记录

保存sql语句

输入sql语句后,点击执行按钮,可执行该sql语句

执行sql语句

2.2.8 系统管理

2.2.8.1用户管理

点击“系统管理-用户管理”,用户管理包括查询,开通用户,编辑,删除是否在职设置等功能。

在查询区域中输入查询条件,如:用户名,手机号,添加时间段(包括开始时间和结束时间),点击提交按钮即可进行查询。

用户查询

点击开通用户按钮,将出现如下对话框,我们可以填入用户相关数据,如:用户名,手机号,邮箱,密码,授予角色等,点击提交按钮即可开通用户。

开通用户

若用户已存在,则会提示该用户名已存在。

用户名已存在

点击编辑按钮,即可对该用户进行编辑,修改相关信息点击提交按钮即可修改该用户信息

编辑用户

点击删除按钮,可对该用户进行删除

删除用户提示

点击是否启用按钮即可对该用户设置启用停用状态

2.2.8.2角色管理

点击“系统管理-角色管理”,进入角色管理界面,进行角色的增加、删除和修改操作

角色管理

点击添加按钮,输入角色名称、角色编号、角色描述等信息后,点击立即提交按钮即可添加该角色信息

添加角色

点击编辑按钮,即可对该角色进行编辑,修改相关信息后点击立即提交按钮即可修改该角色信息

编辑角色

点击删除按钮,即可删除该角色

删除角色

2.2.8.3字典管理

点击“系统管理-字典管理”,进入字典管理界面,进行字典的增加,查询和修改操作已经刷新索引。

字典管理

点击左上角添加按钮,可添加字典。

添加字典

点击删除按钮,可删除该字段

删除字典

点击编辑按钮,可对该字典进行修改。

编辑字典

点击编辑字典的添加按钮,可在该字典下添加键值

添加键值

点击编辑字典的删除按钮,可删除该键值

删除键值

点击刷新索引按钮,可刷新所有字典

刷新索引

第三部分 环境搭建

3.1运行环境

3.1.1服务器硬设备

配置

最小配置

建议配置

CPU

P4 1G

P4 1G(or higher)

内存

1G

2G(or more)

硬盘(剩余空间)

60G

120G(or more)

网络

20M

100M

打印机

操作系统所能适配的打印机

操作系统所能适配的打印机

显示适配器

16bit,分辨率:800*600

32bit,分辨率:1020*768(or higher)

3.3.2服务器软件设备

a.linux 64位操作系统

b.jdk1.8或以上

c.Mysql 5.6 或以上

d. Office 2013或以上(用于导入导出Excel)

e. redis数据库

3.3.3客户端软件

客户端访问所需软件:IE8.0及以上,或其它常规浏览器均可(Chrome,Firefox,Safari等)。

本站知识库部分内容及素材来源于互联网,如有侵权,联系必删!