基于数据探针和元数据管理的数据质量管理平台

基于数据探针和元数据管理的数据质量管理平台 成果上报申请书 成果名称 基于数据探针和元数据管理的数据质量管理平台 关键词索引(3,5数据探针 元数据管理 数据质量管理 数据质量监控 个) 对企业现有规范的符合度:(按填写说明5) 符合。 成果来源:如果该成果来源于集团研发项目，请填写研发项目年度、项目名称及类型(按填写说明6) 专利情况:如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已，请说明专利名称、类型、申请号、状态、是否海外申请等情况。(按填写说明7) 无。 成果简介:简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 数据驱动的运营方式，是现代通信企业和互联网企业运营的主流方法。网优工作作为通信网络的运营工作，必须以数据运营的方式，才能真正实现以客户感知为依据的网络优化。 数据是网优工作的目标驱动，是发现问题的手段，是分析问题的依据，是定位问题的关键，是解决问题的保障，是评估工作的客观导向。 2012年3月，集团总部通报了全国29个省的无线网优平台资源、性能、常规测量数据的数据质量问题，包括数据缺失、字段错误、资源数据不准、数据分类不符合规范等问题。其中，部分省市数据某设备类型数据100%缺失，北京资源、性能和测量数据可用比例仅为45%。为了提升全网数据质量，北京公司启动了数据质量管理项目。 该项目总结了北京公司网优中心在日常数据支撑工作中的各项人工维护和干预工作经验，通过采用数据探针和元数据管理的新技术，依托网优平台，IT化全网数据的数据质量管理，有效提升了数据的完整性、准确性、及时性和稳定性，推进数据质量管理自动化、流程化。 目前，该平台已实现无线侧全网数据的有效监控，监控率达100%，已接入2G、TD的资源类、性能类、参数类、MR数据，涉及诺西、MOTO、华为、中兴、诺西、普天共计6个厂商，实 1 现了多种类、多厂商数据的统一管理，建立有效的数据质量监控机制，提供全面及时的数据质量报告，为优化制定、日常运维管理、指标绩效考核打下坚实基础，为精细化网优管理，提升网络质量保驾护航。 北京公司自启动数据质量管理项目以来，数据质量得到大幅提升。 , 2G、TD性能类数据完整率达100%，稳定率达99.96%。 , 2G资源类数据完整率达99.25%，参数类数据完整率98.29%，测量数据完整率99.78%。 , TD资源类数据完整率达95.37%，参数类数据完整率100%， 测量数据完整率99.80%。 在2012年10月开展的“网优平台建设冲刺”活动中，共计完成了4大类、393个常用2G指标的开发、核对，累计解决31项功能BUG，梳理12张集团重点考核报表272项指标的维护流程，网优平台数据完整性从98%上升到99.4%。 通过该平台，有效节省了数据支撑方面的时间和人力成本，每日约节约5人/天的工作量，日均减轻工作量约30%/人，每月约减少110人/月的人力投入，使优化人员更加专注于优化工作，提高生产力，为企业发展提供人才支撑，提升企业竞争力。 省内试运行效果:描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。 数据质量管理项目总结了网优中心对数据支撑系统日常的各项人工维护和干预工作经验，通过采用数据探针和元数据管理的新技术，依托网优平台，IT化全网数据的数据质量管理，提升数据的完整性、准确性、及时性和稳定性。该项目现已在北京公司全网应用推广，监控率达100%。 该平台的应用推广，有效解决了人工核查、纠正、补采等低效工作，实现了数据补采自动化成果，减少人工干预，推进数据质量管理自动化、流程化，大幅提高升工作效率。 该平台通过采用元数据管理这项新技术，实现数据质量问题的快速分析和定位，预防和控制错误范围的扩大，通过评估发现数据质量潜在的问题和规律，实现全网指标统一监控、统一管理，建立有效的数据质量监控机制，为决策层和优化人员提供全面及时的数据质量报告。 北京公司上线该平台以来，数据质量成绩在集团考核中名列前茅。在集团11月组巡中，北京网优平台数据质量名列浪潮版本网优平台全国第一，超过了山东等网优平台试点省份。 在2012年10月开展的“网优平台建设冲刺”活动中，共计完成了4大类、393个常用2G指标的开发、核对，累计解决31项功能BUG，梳理12张集团重点考核报表272项指标的维护流程，网优平台数据完整性从98%上升到99.4%，较2012年3月北京资源、性能和测量数据可用比例仅为45%相比，实现质的跨越。 本项目具有普遍适用性，可有效提升数据质量，应用推广范围不受地域差别、设备类型、 2 标准制式等其它因素的影响，均可部署实施，无需投资，方便推广应用。 文章主体(300以上，可附在表格后):根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明8”。 1( 项目背景 数据驱动的运营方式，是现代通信企业和互联网企业运营的主流方法。网优工作作为通信网络的运营工作，必须以数据运营的方式，才能真正实现以客户感知为依据的网络优化。 数据是网优工作的目标驱动，是发现问题的手段，是分析问题的依据，是定位问题的关键，是解决问题的保障，是评估工作的客观导向。 2012年3月，集团总部通报了全国29个省的无线网优平台资源、性能、常规测量数据的数据质量问题，包括数据缺失、字段错误、资源数据不准、数据分类不符合规范等问题，其中，部分省市数据某设备类型数据100%缺失，北京资源、性能和测量数据可用比例仅为45%。 在日常优化工作中，也会经常遇到这样的问题。提取某一天性能数据时，发现缺数，相关分析工作无法进行。优化人员在进行割接数据准备时，发现某个BSC小区数与现网不符。通信保障人员在进行性能指标监控时，当前时段的统计无法及时看到。考核指标全网掉话率某一天异常波动，核查后发现是由于某些小区数据缺失导致。 由此可见，数据是一切优化工作的前提，没有数据，就无法开展网络优化工作。数据质量则是根本，没有好的数据质量，就无法正确指引我们的优化工作。 高质量数据是运维管理、日常优化、绩效考核的根本，提升数据质量是势在必行。 3 2( 技术方案 2.1方案概述 数据质量管理平台通过采用数据探针和元数据管理的新技术，提升数据的完整性、准确性、及时性和稳定性，全面提升数据质量。 基于数据探针的数据同步机制是通过数据探针采集OMC数据，实现数据源发生缺失后自动补采，提高了补采数据效率，降低补采难度，有效降低了人力成本。并使受其影响的所有汇总数据自动、逐级重新汇总，有效降低了缺数、数据延迟对统计指标的影响。 元数据管理技术，是通过元数据管理增强对数据质量问题的快速分析和定位，预防和控制错误范围的扩大，通过评估发现数据质量潜在的问题和规律，建立有效的数据质量监控机制，提供全面及时的数据质量报告。同时增强网优平台自身管理能力，实现元数据的全程统一管理，为数据质量管理提供高效支持。 2.2基于数据探针的数据同步机制 传统的跨数据库数据同步机制是只用数据源的指标时间作为范围限定条件、用系统相对时间做为指标时间限定条件、使用定时任务做全量数据同步。若数据源数据晚到，且晚到的时间超过了本次数据同步任务的执行时间，则会引发数据同步不全，导致缺数，无法进行准确的数据补采，只能进行某时段的全量数据补采，补采时负荷较大。而且数据补采复杂，人工参与度高。 数据质量管理平台采用基于数据探针的数据同步机制，与传统方式不同，较以往同步方式有很大改进。 同步过程分三步: 第1步:探测数据情况 通过编写“数据探针”sql探测数据源的数据情况，主要 源数据库编号、源表名、数据开始时间、网元、本次记录条数、上次记录条数、时间戳。 (1)探测数据变化的时间范围要合理，不可过长，避免因数据探测占用大量时间。 (2)探测时的统计粒度(如网元粒度、时间粒度)要控制好，粒度既不能太粗也不能太细，太粗则有可能会导致大面积的重复采集，太细则会导致数据探测结果过多。例如GSM小区小时性能原始数据，可以考虑使用bsc+时间做为统计粒度。 4 第2步:进行数据同步 根据数据探针探测到的记过构造数据源查询的条件，限定数据同步的范围。 (1)基于探针结果表中当前数据条数和历史数据条数的比对。 (2)要注意构造查询条件时sql运行的效率，保证数据同步的效率。 第3步:更新探测结果 (1)采集正常结束后使用“当前数据条数”更新“历史数据条数”，保证两者一致，下次探测时如果数据源无变化则不会重复采集数据。 2.3元数据管理 2.3.1 元数据管理范畴及目标 元数据(Meta Data)泛指描述领域概念(Domain Concepts)、领域关系(Domain Roles)、领域规则(Domain Rules)的数据。通过元数据管理，可以加强系统数据的管控力度，增强系统自身管理能力，实现元数据的全程统一管理，为数据质量管理提供支持。 元数据管理为用户提供统一的元数据管理手段。通过建立元数据管理模块，可以对无线网优平台中的元数据进行收集、存储、输出、查询和分析等操作。用户通过元数据管理模块浏览元数据，并可以理解各种元数据的定义和整个运作过程，以及相关元数据在其中发挥的作用，从而更有效地理解和控制系统的运行。 无线网优平台中数据质量管理的元数据包括维度、指标、数据库、数据表、字段、ETL(数据汇总过程等)，可对指标、数据表进行各种分析。 2.3.2 元数据管理技术架构和数据处理过程 应 指标管理 其他应用 用 层 功 基本维护管理 分析功能 能 层 存 业务元数据 储 技术元数据 管理元数据 层 5 元数据服务接口 获 数据加工 OLAP 库表信息 业务源系统 取 层 元数据管理技术架构 , 对于能提供专用的或者标准的元数据获取接口的实体，元数据管理模块可以利用这些接口自动抽 取元数据。对于无法通过获取接口或者编译技术进行自动获取的元数据，需要通过手工整理的方 式进行处理。 , 获取的元数据存储在存储层的元数据库中。 , 通过功能层为前端元数据应用提供了基本的功能支撑，主要包括元数据基本功能、元数据分析功 能、元数据服务接口等。 , 元数据应用层通过调用功能层的功能，对元数据管理的实际问题提供应用解决方案。 3.应用效果 数据质量管理项目总结了北京公司网优中心在日常数据支撑工作中的各项人工维护和干预工作经验，通过采用数据探针和元数据管理的新技术，依托网优平台，IT化全网数据的数据质量管理，有效提升了数据的完整性、准确性、及时性和稳定性，推进数据质量管理自动化、流程化。 目前，该平台已实现无线侧全网数据的有效监控，监控率达100%，已接入2G、TD的资源类、性能类、参数类、MR数据，涉及诺西、MOTO、华为、中兴、诺西、普天共计6个厂商，实现了多种类、多厂商数据的统一管理，建立有效的数据质量监控机制，提供全面及时的数据质量报告，为优化方案制定、日常运维管理、指标绩效考核打下坚实基础，为精细化网优管理，提升网络质量保驾护航。 北京公司自启动数据质量管理项目以来，数据质量得到大幅提升。 , 2G、TD性能类数据完整率达100%，稳定率达99.96%。 , 2G资源类数据完整率达99.25%，参数类数据完整率98.29%，测量数据完整率99.78%。 , TD资源类数据完整率达95.37%，参数类数据完整率100%， 测量数据完整率99.80%。 在2012年10月开展的“网优平台建设冲刺”活动中，共计完成了4大类、393个常用2G指标的开发、核对，累计解决31项功能BUG，梳理12张集团重点考核报表272项指标的维护流程，网优平 6 台数据完整性从98%上升到99.4%。 通过该平台，有效节省了数据支撑方面的时间和人力成本，每日约节约5人/天的工作量，日均减轻工作量约30%/人，每月约减少110人/月的人力投入，使优化人员更加专注于优化工作，提高生产力，为企业发展提供人才支撑，提升企业竞争力。 3.1数据质量监控 数据质量管理平台主要包括整体监控、资源监控、性能监控、文件监控、重点指标监控。 通过以上功能，方便优化人员及时了解全网资源、性能、文件、数据异常情况，定位数据异常原因，并快速确定解决方案，提高问题处理效率。改善了以往手动分析，人工查找数据异常原因，耗时耗力的现象，保证各类指标完整性、准确性、及时性、稳定性。 3.1.1 整体监控 整体监控具体包括: 1、资源、性能、参数、测量的小区级数据量对比情况，包括七天走势图、差异列表。 2、重点指标核查结果 及 重点字段核查结果。 3、表空间、采集程序进程监控。 整体监控界面如下: 1、 数据量对比情况 7 以图表方式呈现近七天资源、性能、参数、测量的小区级数据量对比情况，可发现四类数据不一 致情况。如: 1)GSM:2012年12月20日性能数据有缺失; 2)GSM:近期四类数据数据量差异，目前测量数据较多; 3)TD :性能、参数数据量比资源多，可能存在资源数据缺失。 2、重点资源字段问题列表和重点指标问题列表 重点资源字段问题列表:呈现当前资源数据存在的准确性情况， 如:GSM小区表有1357条记录存在CGI与LAC+CI不一致问题，占数据总记录数的96.05%，可通过核查SQL帮助数据维护人员快速定位问题数据。 重点指标问题列表:呈现当天指标的准确性情况， 如: 2012年12月22日2时，存在 电路域系统间小区间切出准备请求次数(指标)为空的记录数277条，可通过核查SQL帮助数据维护人员快速定位问题数据。 8 3、采集进程监控和表空间监控 采集进程监控:检测网优后台采集进程是否正常运行, 如某进程未运行，则产生预警。 表空间监控 :在数据采集过程中，表空间关系到数据能否正常入库，对其进行日常监控存在必要性。 3.1.2 资源监控 资源监控具体包括: 1、资源数据完整性。 2、资源字段值的准确性。 9 资源监控界面如下: 1、 资源数据完整性 以图表方式呈现资源完整性情况，如果稳定率过低，表示该类资源数据在某时间段有缺失。 10 2、 资源字段值的准确性 呈现资源数据存在的准确性问题，可通过配置字段核查规则进行扩展。 3.1.3 性能监控 性能监控的实现原理: 11 24小时监控情况 汇总到OMC级 比对每个BSC的记录数，不一致则置为异常 监控数据 每个BSC的记录数每个BSC的记录数 每个BSC的记录数 华为1个OMC网优数据库诺西19个OMC 性能监控具体包括: 1、 性能汇总-稳定性异常。 2、 性能汇总-汇总过程异常。 性能监控界面如下: 1、性能汇总-稳定性异常 2012年12月22日9时，BSC-R0833在表PM.O_G_N_S14_H_RES_AVAIL近7天记录数的稳定性为 88.7，低于90%，引发所在OMC-诺西OMCQ稳定异常，生成OMC预警。 12 2、性能汇总-汇总过程异常 2012年12月22日9时，BSC-R0832在表PM.O_G_N_S14_H_TRAFFIC规一化汇总时，出现原 始记录为127条，只汇总成功了115条，存在数据丢失问题。 3.1.4 文件监控 部分数据来源于文件解析，需要对文件采集进行监控，如Td的北向文件,可发现文件大小异常及文件延时问题。 13 3.1.5 重点指标监控 重点指标监控具体包括: 1、近七天同时间点的汇总指标值，用于观察指标值变化 2、与指标相关的核查规则的核查结果; 3、与指标相关的字段核查结果。 14 3.2元数据管理的实际应用 元数据管理的实际应用包括指标分析和数据表分析。 管理界面如下: 3.2.1 指标分析 指标分析包括指标来源分析、数据质量分析、值趋势核查、字段核查、规则核查。 15 3.2.1.1指标来源分析 指标血统分析即指标来源分析。 16 3.2.1.2数据质量分析 17 3.2.1.3值趋势核查、字段核查、规则核查 3.2.2 数据表分析 数据表分析包括关联分析、影响分析等。 3.2.2.1数据表关联分析 如下图: 18 19 3.2.2.2数据表影响分析 如下图: 4.本省应用推广情况 数据质量管理项目总结了网优中心对数据支撑系统日常的各项人工维护和干预工作经验，通过采用数据探针和元数据管理的新技术，依托网优平台，IT化全网数据的数据质量管理，提升数据的完整性、准确性、及时性和稳定性。该项目现已在北京公司全网应用推广，监控率达100%。 该平台的应用推广，有效解决了人工核查、纠正、补采等低效工作，实现了数据补采自动化成果，减少人工干预，推进数据质量管理自动化、流程化，大幅提高升工作效率。 该平台通过采用元数据管理这项新技术，实现数据质量问题的快速分析和定位，预防和控制错误范围的扩大，通过评估发现数据质量潜在的问题和规律，实现全网指标统一监控、统一管理，建立有效的数据质量监控机制，为决策层和优化人员提供全面及时的数据质量报告。 北京公司上线该平台以来，数据质量成绩在集团考核中名列前茅。在集团11月组巡中，北京网优平台数据质量名列网优平台全国第一，超过了山东等网优平台试点省份。 20 在2012年10月开展的“网优平台建设冲刺”活动中，共计完成了4大类、393个常用2G指标的开发、核对，累计解决31项功能BUG，梳理12张集团重点考核报表272项指标的维护流程，网优平台数据完整性从98%上升到99.4%，较2012年3月北京资源、性能和测量数据可用比例仅为45%相比，实现质的跨越。 本项目具有普遍适用性，可有效提升数据质量，应用推广范围不受地域差别、设备类型、标准制式等其它因素的影响，均可部署实施，无需投资，方便推广应用。 21