数据中台知识简介(数据中台是什么)
第一部分 简述
1.1简述
数据质量问题一直是数据跨部门共享过程中的一个典型问题,常反应数据不准确、不一致、不及时等问题。主要原因在于,现阶段还未完善统一的信息标准规范,在数据质量方面缺乏相应的工具来辅助进行质量提升。
数据安全问题也是数据管理的核心关注点,数据在同步、存储、查询、共享等方面的安全需要重点关注,防止数据泄露。通过相应的数据安全管理工具或模块加强数据安全防范。
在数据治理的基础上,提供完备的数据开发工具,便于用户进行数据的开发后形成数据集,供全校用户查询和使用,也为上层应用提供数据支撑,逐步形成数据中台,以提高数据服务能力,减小应用开发难度。
1.2用户登录
用户进入系统需要通过用户认证,如下图的界面是登陆页面。
用户登陆界面
这里填写自己的用户名和密码,如果填写错误,点击“登录”后,会出现错误提示信息。如果填写正确,便可以跳转进入系统内容页面。
错误提示信息
登录成功后,则可以进入该系统
系统界面
在系统的右上方会显示登陆的用户名,比如我们的登录账户为admin,那么就会显示在右上角
1.3 应用环境
1.3.1 服务器硬件环境
配置 | 最小配置 | 建议配置 |
CPU | P4 1G | P4 1G(or higher) |
内存 | 1G | 2G(or more) |
硬盘(剩余空间) | 60G | 120G(or more) |
网络 | 20M | 100M |
打印机 | 操作系统所能适配的打印机 | 操作系统所能适配的打印机 |
显示适配器 | 16bit,分辨率:800*600 | 32bit,分辨率:1020*768(or higher) |
1.3.2 服务器软件环境
a.linux 64位操作系统
b. jdk1.8或以上
c.Mysql 5.6 或以上
d. Office 2013或以上(用于导入导出Excel)
e. redis数据库
1.3.3 客户端软件环境
客户端访问所需软件:IE7.0及以上,或其它常规浏览器均可(Chrome,Firefox,Safari等)。
第二部分 基础架构
2.1 系统结构
2.1.1 平台架构
基于IDEA开发工具开发,基础框架如下,如图2.1所示。
图2.1 平台架构
采用浏览器方式使得易用性更强,客户端不需安装专用软件,系统的管理维护十分简单。
2.2 业务功能
2.2.1 元数据管理
2.2.1.1数据源管理
点击“元数据管理-数据源管理”,数据源管理包括查询,注册,编辑,删除,测试,是否启用设置等功能。
在查询区域输入查询条件,如:注册系统名,数据库连接用户名等,点击查询按钮即可进行查询。
数据源查询
点击注册按钮,输入数据源名称,数据库类型,数据库驱动,数据库连接字符串,数据库连接用户名,数据库连接用户密码和数据库对象所有者等信息,点击提交按钮可完成注册。
注册数据源
点击删除按钮,可对选中的数据源进行删除。
删除数据源
点击操作下的编辑按钮可对该数据源进行编辑
编辑数据源
点击操作下的测试按钮,可以测试该数据源是否能连通
测试数据源
点击是否启用开关按钮,可设置该数据源是否启用
设置是否启用
2.2.1.2数据对象管理
点击“元数据管理-数据对象管理”,数据对象管理包括分类查询,数据对象查询,新增数据对象,删除,编辑,生成,变更数据分类,是否启用设置等功能。
数据对象管理
点击数据中心树节点,展开所有分类
数据对象分类树
在树搜索框输入关键字,可查询对应分类
查询分类树
点击叶子菜单,可看到该分类下所有的数据对象
数据对象
点击查询按钮,可根据数据对象名查询该分类下的数据对象
查询数据对象
点击新增数据对象按钮,可在该分类下下添加数据对象
新增数据对象
点击删除按钮,即可删除选中的数据对象
删除数据对象
点击操作下的编辑按钮,可对该数据对象进行编辑,包括基本信息和字段属性
修改对象基本信息
修改对象字段属性
点击字段属性的是否启用按钮,可设置该字段是否启用;
点击字段属性的新建按钮,可添加字段属性
添加字段属性
点击字段属性的编辑按钮,可对该字段进行编辑
编辑字段属性
点击编辑下的生成按钮,即可在数据库生成该表
数据对象生成表
点击变更数据对象按钮,可将该数据对象指定到其他分类下
变更数据分类
2.2.2 主数据管理
2.2.2.1主数据概要
点击“主数据管理-主数据概要”,主数据概要包括总数据数,集成数据,数据资产,数据量TOP10等统计数据
主数据概要
2.2.2.2主数据管理
点击“主数据管理-主数据管理”,主数据管理包括数据对象分类树查询,主数据总体情况,主数据高级查询,删除等。
主数据管理
点击分类树的叶子菜单,可查看该数据对象表中的数据信息
数据对象数据
点击高级查询按钮,可对主数据进行查询
高级查询
点击高级查询的添加按钮,可添加高级查询条件
添加查询条件
点击高级查询的删除按钮,可删除该查询条件
删除查询条件
点击高级查询的编辑按钮,可对该查询条件进行编辑
编辑查询条件
点击主数据管理的删除按钮,可删除选中的主数据
删除主数据
2.2.3 代码标准管理
2.2.3.1代码标准管理
点击“代码标准管理-代码标准管理”,代码标准管理包括代码分类树查询,代码标准统计,新增代码标准,删除代码标准,编辑代码标准,是否启用代码标准等。
代码标准管理
点击分类树叶子菜单,可看到该分类下的代码标准
代码标准
点击新增按钮,可在该分类下添加代码标准
添加代码标准
点击编辑按钮,可对该代码标准进行编辑
编辑代码标准
点击删除按钮,可以删除该代码标准
删除代码标准
点击设置是否启用,可对该代码标准设置是否启用
点击标准模式,可看到代码的标准模式信息
标准模式
点击代码映射关系,可看到该代码的代码映射关系
代码映射关系
2.2.3.2代码标准映射管理
点击“代码标准管理-代码标准映射管理”,代码标准映射管理包括代码分类树查询,新增代码标准映射,删除代码标准映射,编辑代码标准映射等。
代码标准映射管理
点击代码分类树子菜单,可看到该分类下的代码标准映射
代码标准映射列表
点击新增按钮,可在该分类下添加代码标准映射
新增代码标准映射
点击编辑按钮,可对该代码标准映射进行编辑
编辑代码标准映射
点击删除按钮,可对选中的代码标准映射进行删除
删除代码标准映射
2.2.3.3代码标准一致性检查
点击“代码标准管理-代码标准一致性检查”,代码标准一致性检查包括概况,待处理,已处理等。
点击概况,可看到一致性检查结果概况
一致性检查概况
点击待处理,可看到一致性检查待处理情况
一致性检查待处理
点击已处理,可看到一致性检查已处理情况
一致性检查已处理
2.2.4 运行监控管理
2.2.4.1数据集成管理
点击“运行监控管理-数据集成管理”,数据集成管理包括集成概况,接口信息,任务计划,接口运行日志等。
点击集成概况,可看到集成接口相关信息
运行接口集成概况
点击接口信息,可看到接口的相关信息
运行接口信息
点击任务计划,可看到接口运行的任务计划
运行接口任务计划
点击接口运行日志,可看到接口运行日志信息
接口运行日志
点击接口运行日志的详细按钮,可看到接口运行的详细日志
接口运行详细日志
2.2.4.2数据库监控
点击“运行监控管理-数据库监控”,数据库监控包括数据库连接数,数据库表空间(主数据),数据库表空间(数据集成库),URI监控,Spring监控等。
数据库监控
URI监控
Spring监控
2.2.5 数据共享接口
2.2.5.1数据共享服务
点击“数据共享接口-数据共享服务”,数据共享服务包括数据服务统计,服务使用提醒,数据调用统计,服务安全提醒等。
数据共享服务
2.2.5.2数据服务管理
点击“数据共享接口-数据服务管理”,数据服务管理包括搜索,添加,修改,删除,服务说明,预览,设置启用状态等。
数据服务搜索
点击添加按钮,新增数据服务
添加数据服务第一步
输入服务名称,数据来源,服务描述等信息,点击下一步,选择要发布服务的表
选择发布服务的表
然后选择出参入参的字段
选择发布服务的字段
点击编辑按钮,可对该服务进行编辑
编辑服务
点击服务说明,可看到该服务的调用说明
服务说明
点击预览按钮,可查看该服务的数据,在配置参数框中输入服务预览中的服务参数,即可进行查询
服务预览
点击删除按钮,可删除该服务
删除服务
点击服务状态按钮,可设置该服务是否启用
启用服务
2.2.5.3数据服务授权
点击“数据共享接口-数据服务授权”,数据服务授权包括服务搜索,是否启用,授权等。
服务搜索
点击授权按钮,可对该服务进行授权
服务授权
点击服务授权的添加按钮,可添加服务授权
新增服务授权
点击服务授权的删除按钮,可删除选中的服务授权
删除服务授权
2.2.5.4服务运行监控
点击“数据共享接口-服务运行监控”,服务运行监控服务调用信息查询及监控等。
服务运行监控查询
点击监控按钮,可看到服务运行监控信息
服务运行监控
2.2.5.5服务调用统计
点击“数据共享接口-服务调用统计”,服务调用统计包括服务调用等信息统计。
服务调用统计
2.2.5.6数据脱敏
点击“数据共享接口-数据脱敏”,数据脱敏包括添加,编辑,删除等功能。
数据脱敏
点击添加按钮,可添加脱敏规则
添加脱敏规则
点击删除按钮,可删除该脱敏规则
删除脱敏规则
点击编辑按钮,可对该脱敏规则进行编辑和配置
编辑脱敏规则
点击编辑脱敏规则的添加按钮,可添加该规则的配置,选择表和字段进行添加配置
添加脱敏字段
点击编辑脱敏规则下的删除按钮,可删除该脱敏字段
删除脱敏字段
2.2.6 质量检测管理
2.2.6.1质量检测
点击“质量检测管理-质量检测”,质量检测包括按规则统计检测项,按规则统计违规率,违规数TOP10表等。
质量检测
2.2.6.2质量检测模板
点击“质量检测管理-质量检测模板”,质量检测模板包括添加,删除,修改等。
质量检测模板
点击添加按钮,可添加质量检测模板
添加质量检测模板
点击编辑按钮,可对该质量检测模板进行编辑
编辑质量检测模板
点击删除按钮,可删除选中的质量检测模板
删除质量检测模板
2.2.6.3质量规则配置
点击“质量检测管理-质量规则配置”,质量规则配置包括查询,添加,删除,修改,调试等。
点击数据目录叶子菜单,可看到该数据对象的规则配置信息
质量规则配置
点击查询按钮,可查询该模板的配置
质量规则配置查询
点击添加按钮,可添加该数据对象的质量规则配置
添加质量规则配置
点击删除按钮,可删除选中的质量规则配置
删除质量规则配置
点击编辑按钮,可对该质量规则配置进行编辑
编辑质量规则配置
点击调试按钮,可调试该质量规则配置
调试质量规则配置
2.2.6.4数据质量查询
点击“质量检测管理-数据质量查询”,数据质量查询包括数据目录查询,数据中心整体质量情况,检测日志查询,违规明细查看等。
数据质量查询
点击数据目录的叶子菜单,即可看到该数据对象的检测结果
检测结果
点击查询按钮,可查询该模板下的检测结果
检测结果查询
点击违规明细,可查看该检测结果的违规数据
违规明细
2.2.6.5数据质量提醒
点击“质量检测管理-数据质量提醒”,数据质量提醒包括发件箱配置,添加接收人员,编辑接收人员,删除接收人员,发送邮件等。
数据质量提醒
点击保存按钮,可保存修改
保存发件箱配置
点击添加按钮,可添加接收人,若用户名不存在,会提示用户名不存在
添加接收人群
点击删除按钮,可删除选中的接收人群
删除接收人群
点击编辑按钮,可对该接收人员进行编辑
编辑接收人群
点击发送邮件按钮,可对选中的人群发送邮件报告
2.2.7 数据备份处理
2.2.7.1数据备份
点击“数据备份处理-数据备份”,数据备份包括定时配置,是否启动初始化,启用任务,停止任务,重启任务,编辑,删除和任务日志等。
定时配置
点击是否启动初始化按钮,可设置该定时任务是否启动初始化状态
点击启用任务,即可启动该定时任务
启动任务
点击已启动任务后的停止任务按钮,可停止该任务
停止服务
点击已启动任务后的重启按钮,可重新启动该任务
重启服务
点击任务日志,可看到任务运行的日志
定时任务日志
2.2.7.2系统日志
点击“数据备份处理-系统日志”,系统日志模块包括访问统计,平台访问日志,平台操作日志等。
模块访问统计
平台访问日志
平台操作日志
2.2.7.3数据库查询
点击“数据备份处理-数据库查询,数据库查询包括历史记录,数据库查询等。
数据库查询历史记录
点击数据库查询,可进入数据库查询页面
数据库查询
输入sql语句后,点击保存按钮,可保存该sql语句到历史记录
保存sql语句
输入sql语句后,点击执行按钮,可执行该sql语句
执行sql语句
2.2.8 系统管理
2.2.8.1用户管理
点击“系统管理-用户管理”,用户管理包括查询,开通用户,编辑,删除是否在职设置等功能。
在查询区域中输入查询条件,如:用户名,手机号,添加时间段(包括开始时间和结束时间),点击提交按钮即可进行查询。
用户查询
点击开通用户按钮,将出现如下对话框,我们可以填入用户相关数据,如:用户名,手机号,邮箱,密码,授予角色等,点击提交按钮即可开通用户。
开通用户
若用户已存在,则会提示该用户名已存在。
用户名已存在
点击编辑按钮,即可对该用户进行编辑,修改相关信息点击提交按钮即可修改该用户信息
编辑用户
点击删除按钮,可对该用户进行删除
删除用户提示
点击是否启用按钮即可对该用户设置启用停用状态
2.2.8.2角色管理
点击“系统管理-角色管理”,进入角色管理界面,进行角色的增加、删除和修改操作
角色管理
点击添加按钮,输入角色名称、角色编号、角色描述等信息后,点击立即提交按钮即可添加该角色信息
添加角色
点击编辑按钮,即可对该角色进行编辑,修改相关信息后点击立即提交按钮即可修改该角色信息
编辑角色
点击删除按钮,即可删除该角色
删除角色
2.2.8.3字典管理
点击“系统管理-字典管理”,进入字典管理界面,进行字典的增加,查询和修改操作已经刷新索引。
字典管理
点击左上角添加按钮,可添加字典。
添加字典
点击删除按钮,可删除该字段
删除字典
点击编辑按钮,可对该字典进行修改。
编辑字典
点击编辑字典的添加按钮,可在该字典下添加键值
添加键值
点击编辑字典的删除按钮,可删除该键值
删除键值
点击刷新索引按钮,可刷新所有字典
刷新索引
第三部分 环境搭建
3.1运行环境
3.1.1服务器硬设备
配置 | 最小配置 | 建议配置 |
CPU | P4 1G | P4 1G(or higher) |
内存 | 1G | 2G(or more) |
硬盘(剩余空间) | 60G | 120G(or more) |
网络 | 20M | 100M |
打印机 | 操作系统所能适配的打印机 | 操作系统所能适配的打印机 |
显示适配器 | 16bit,分辨率:800*600 | 32bit,分辨率:1020*768(or higher) |
3.3.2服务器软件设备
a.linux 64位操作系统
b.jdk1.8或以上
c.Mysql 5.6 或以上
d. Office 2013或以上(用于导入导出Excel)
e. redis数据库
3.3.3客户端软件
客户端访问所需软件:IE8.0及以上,或其它常规浏览器均可(Chrome,Firefox,Safari等)。
本站知识库部分内容及素材来源于互联网,如有侵权,联系必删!