大数据平台数据管控解决方案

大数据平台数据管控解决*目录数据管控系统实施目标 数据管控系统实施是为解决企业所面临的数据问题、数据质量问题、元数据管理问题。数据管控体系建设原则数据管控系统实施步骤目录元数据定义元数据分类元数据范围元数据关联性元数据系统应用模型元数据管理系统功能构成图技术架构图庞大的数据资产如何管理？形态万千、散落在企业各处的数据资产如何管理？数据资产之间的关系怎样？如何让数据资产正确、有效的被使用并产生价值？元数据管理-现状企业数据资产管理的困惑对元数据的概念理解不清或者不一致到底哪些数据可以纳入到元数据管理范畴之内元数据管理能带来什么价值元数据管理的工作内容都是什么元数据管理-元数据的意义元数据到底是什么需要借助元数据管理来解决理想和现实之间的差异问题! 　元数据能够辅助管理企业的各类数据资产； 　元数据可以如实向用户反映企业的数据资产信息； 　元数据管理的工作内容包括人员组织搭建、管理流程的梳理、基础技术平台的实施； 　元数据的解决方案回答了如何让元数据管理产生价值的问题。解决之道元数据系统-解决方案 　定位：　　元数据管理是对数据平台数据信息的梳理、组织和再现，帮助用户更好的理解现有系统的建设现状，支撑用户对数据平台的管理工作作出更合理的决策，但不能过分夸大元数据管理的工作范围，它并不能替代现有数据平台开发和管理工具的角色，也不能彻底改变现有数据平台的管理模式。元数据系统-元数据管理定位 　元数据管理的应用价值　　元数据管理的应用价值主要体现在： 对数据再组织并形成全局性的视图； 帮助用户更好的理解各环节的数据和系统的建设现状； 是保障企业数据质量的基础； 支持企业信息化的知识传承； 提升数据平台建设和管理水平。元数据系统-价值元数据管理-整合统一的全局视图元数据管理-数据地图元数据解决方案-元数据应用信息元数据解决方案-信息检索元数据解决方案-数据字典元数据解决方案-版本管理元数据解决方案-影响分析元数据解决方案-数据管控元数据实施-总体规划元数据实施-组织机构元数据实施-管理办法和流程目录数据标准管理数据标准管理应用场景数据标准工具逻辑架构图 数据标准是企业级的业务规范，用于指导各业务系统及数据仓库的建设，而元数据是系统级的描述手段，更多的反映系统建设情况； 数据标准指导系统建设的成果可以通过元数据来反映； 系统的建设反过来促进数据标准的完善；数据标准与元数据关系目录数据质量问题产生原因数据质量问题产生的原因,归纳分析后可以总结为4个领域：信息问题域、技术问题域、流程问题域、管理问题域数据质量管理工具介绍 由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。元数据描述及理解错误中的相关元数据主要包括：业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等；技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。数据质量问题产生的原因分析—信息域数据质量管理工具介绍 由于具体数据处理的各技术环节异常所造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括：数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面：数据创建质量问题主要包括：创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等；数据传递质量问题主要包括：接口数据及时率低、接口数据漏传、网络传输过程不可靠，如包丢失、文件传输方式错误、传输技术问题、使用不当导致的数据不完整等；数据装载质量问题主要包括：数据清洗算法、数据转换算法和数据加载算法的错误；数据质量问题产生的原因分析—技术域数据质量管理工具介绍 由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节：创建流程质量问题主要指操作员数据录入时缺乏审核流程；传递流程质量问题主要指通信流程沟通不畅；装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误；使用流程质量问题主要指数据使用流程缺乏流程管理；维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控；数据质量问题产生的原因分析—流程域数据质量管理工具介绍由于人员素质及管理机制方面的原因造成的数据质量问题如：数据库设计原则不严谨，数据使用不规范导致的业务数据重复，数据不一致。人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责没有明确的数据质量目标；缺少管理数据质量的管理办法等。数据质量问题产生的原因分析—管理域数据质量管理工具介绍质量管理模型和功能匹配数据质量管理工具介绍数据质量管理工具介绍数据质量管理工具介绍 数据质量管理工具流程图数据质量管理工具介绍数据质量管理开发功能清单 功能一级分类 功能二级分类 说明 首页 首页统计分析 支持最近一天以及最近一周的质量情况统计分析，支持钻取；支持个性化首页定制； 规则管理 规则配置 规则依赖的需求，需要执行的数据标准，业务描述、规则类型（完整性，一致性，时效性，正确性） 规则浏览 规则清单浏览 检查点管理 检查点配置 配置检查目标及规则，技术属性（唯一，非空，值域，代码，外键，拉链） 检查点浏览 检查点清单浏览 检查点执行状态监控 检查点手动执行、状态监控 检查点执行历史查询 检查点运行历史查询，执行情况浏览 问题跟踪分析管理 问题浏览 检查点执行后的问题数据（综合问题查询） 问题发布 将问题提交给处理人，包括处理人信息、预期处理完成时间、提醒方式等，支持已发布的问题数据浏览 问题处理 用于关闭问题。记录问题处理过程及方法。 问题归档 处理完成后的问题的归档，支持已归档的问题数据浏览 问题跟踪监控 反映问题严重级别，预期处理时间，预定处理部门或责任人，触发通知等功能。 问题跟踪设置 设置问题数据处理日历。问题严重级别。 数据质量分析 数据质量全局统计 全局统计问题，系统维度，数据生成周期，处理情况 单表问题数据统计 单个检查目标问题数据类型统计图。 单检查点趋势分析 单个检查点趋势图 问题分析报告下载 问题分析报告下载 权限管理 用户管理 用户录入，修改。密码管理 角色管理 创建角色、用户分配角色 权限配置 系统功能权限分配 菜单管理 菜单管理 系统菜单新增、修改。 日志管理 系统监控日志 用户操作系统的记录，包括功能点，请求参数 检查执行日志 检查点执行时间，返回状态码，错误信息。 检查脚本 检核脚本（PERL模板） 后台调用检查配置信息的Perl脚本。 元数据侧重于展现表结构化的信息，数据质量侧重展现表中数据存在的问题； 元数据可以展现表上与数据质量相关的信息； 数据质量可以利用元数据的分布拓扑结构图信息（数据地图）展现数据质量点、线、面的与质量相关的分布情况； 数据质量发现问题时可以查看相关表结构数据质量与元数据的关系汇报完毕感谢聆听***