大数据平台数据治理解决方案

大数据平台数据治理解决大纲管控体系设计数据管控机制设计数据质量管理体系元数据管理体系数据管理体系数据生命周期管理体系数据管控模块组成管控支撑技术实施办法支撑平台管控流程流程目标流程任务流程分级管控组织管控架构管控层次管控职责管控机制管控政策规章制度管控办法考核机制数据生命周期生命周期判定原则生命周期阶段管理存储分级管理数据质量数据质量提升数据质量监控与优化数据质量主动保证元数据业务元数据技术元数据操作元数据数据标准数据标准业务指标管控手段提供标准和规范的管理手段完善标准强化元数据完善与落地保障与规范数据管控模块组成数据战略数据应用与服务数据管理保障机制促进支撑实现支撑数据战略与规划数据组织与职责数据制度与管理流程数据服务管理数据需求管理应用系统建设数据服务数据架构与模型管理数据标准管理数据质量管理元数据管理主数据管理数据保留与归档管理数据安全管理内容管理数据管控模块组成数据调度与处理大数据平台数据结构化转换大数据分析计算分布式数据库分布式文件系统数据生命周期管理数据平台数据传输数据服务数据集市数据质量检核元数据管理数据管理平台数据应用统计报表基础数据平台贴源层整合层汇总层数据切分数据源业务系统物联网互联网数据交换平台内部数据外部数据其他系统数据接口数据挖掘高管驾驶舱管控组织管控工具管控流程管控政策数据生命周期数据标准元数据数据质量管控手段管控机制管控机制：数据管控实现的关键要素管控手段：数据管控关注的重点领域管控机制和管控手段形成数据管控矩阵，能有序高效地提升数据架构各个层次的管控及协作能力，增强企业级数据模型驱动力，使其有序开展及持续优化数据模型描述了管控手段的信息内容数据架构是管控手段的落地表现管控机制为模型和架构提供了保障机制企业数据模型实体属性（L3）实体及关键属性实体（L2）实体及关系数据主题（L1）对数据的分类增强数据模型的驱动力数据架构保证数据架构的实现数据管控各组成部分意义：管控机制定义数据管控各个领域的工作方法和步骤明确各个相关部门在数据管控各个领域中的分工和协作关系管控流程通过政策和规范的方式发布数据管控各个相关部门的责任明确数据管控各领域的政策、规范和实施办法确保数据管控的管理原则和执行是一致地贯穿全行改变或规范各个部门数据管控人员的行为管控政策提供一套数据管理的支撑系统支撑数据质量的规则，问题的集中管理支撑数据标准的发布，查询，变更等流程管控工具建立明确的数据管控组织架构与人员角色定义明确某类数据的责任人定义不同数据责任人的职责，对某一特定数据范围内的信息的正确性，一致性和及时性负责管控组织一致和准确的数据是业务运营与决策分析的基础良好的、高质量的数据可以有效降低系统建设成本外部的监管和规范，如反洗钱、BaselII、SO等，对数据的质量提出了越来越高的要求数据质量管理减低成本、简化管理（控制存储需求、软硬件以及人力成本等）提高效率（提升系统性能，合理利用人力、流程、技术提高信息服务效率）控制风险，有效合规（提高对审计的控制、遵守政府和行业规范等）数据生命周期管理业务术语、标准等的统一定义、管理、引用各式数据流（像文件交换、点对点直连、企业数据总线等）的管理数据的创建／引用／关联、血缘的分析对其它数据管理领域，像数据质量、数据生命周期的支撑元数据管理加强业务的标准化工作，规范重点业务内容，强化业务管理加强现有数据的交互性，支撑统一的业务管理推动主数据系统的建设，完成重点数据的统一管理，完全共享数据标准管理数据管控各组成部分意义：管控手段制定数据管控政策是将最高管理层对数据管控的期待变成思想和策略，通过制度的制定和始终如一的执行来树立全行的数据管控理念，确保数据管控组织围绕管控制度来进行工作目标的定义和实践政策的主要目标是：明确数据管控各个相关部门的责任确保数据管控的管理原则和执行是一致地贯穿全行将高级管理层的目标和行为期待作为一致性的讯息提供给机构改变或规范各个部门数据管控人员的行为数据管控政策是管控的中心思想和执行策略数据管控管理办法与管理办法实施细则客户数据管控政策建议数据管控管理办法数据标准管理办法数据质量管理办法数据管控实施细则数据标准实施细则数据质量实施细则数据管控的管理办法与实施办法数据质量管理的政策性文件数据标准管理的政策性文件数据管控的具体操作方法和流程数据质量管理的具体操作方法和流程数据标准的具体操作方法和流程数据生命周期管理办法数据生命周期管理的政策性文件数据生命周期实施细则数据生命周期管理的具体操作方法和流程元数据管理办法元数据管理的政策性文件元数据的具体操作方法和流程元数据实施细则客户数据管控管理办法和实施细则建议（1/2）管理领域管理规范或实施办法描述数据管控管理数据质量管理办法指明数据质量管理工作方向与工作思路明确数据质量管理工作参与部门以及各部门在数据质量管理工作中承担的角色与职责提出数据质量问题识别、评估与处理的框架性要求生命周期管理办法明确数据生命周期管理的对象与范畴制定数据生命周期的判定原则和管理方法提出数据生命周期管理的评估体系数据标准管理办法指明数据标准管理工作方向与工作思路明确数据标准管理工作参与部门以及各部门在数据标准管理工作中承担的角色与职责元数据管理办法指明元数据管理策略模式明确元数据管理评审的评审点与评审依据客户数据管控管理规范和实施办法（2/2）管理领域管理规范或实施办法描述数据管控管理数据质量实施细则数据质量检查规则管理办法，明确数据质量检查规则管理（包括收集、更新、终止）工作参与部门以及具体流程，提出数据质量检查规则规范要求明确参与数据质量清理的工作部门，明示各部门参与数据质量清理的工作环节及实施办法生命周期实施细则明确数据生命周期周期与频率，以及销毁机制制定数据生命周期的评估体系评估指标制定数据生命周期的落地推广方法数据标准实施细则制定管理办法、审核管理办法和发布管理办法，明确参与数据标准制定的工作部门制定管理办法、审核管理办法和发布管理办法，明示各个部门参与数据标准制定的工作环节和细则元数据实施细则明确元数据管理的架构和标准化流程制定元数据数据需求模板、数据映射模板、数据字典模板、数据责任人总行分行1分行2分行…数据治理决策委员会总行领导数据治理委员会数据治理办公室数据标准管理员数据架构主管数据治理经理数据安全主管数据质量主管个人金融部风险管理部公司业务部。。。业务线责任人区域数据架构管理员数据标准主管元数据管理员数据安全管理员数据质量管理员数据模型主管数据责任人数据录入人员业务定义人员数据使用人员系统责任人核心系统信贷系统网银系统ESB数据建模师元数据主管客户管理数据仓库资产负债...系统技术责任人系统专家数据维护人员系统业务责任人项目经理架构师开发测试人员业务分析人员客户数据管控组织建议建立数据模型的责任是信息技术部数据架构的责任主体是信息技术部治理框架的责任主体是全行，应该成立跨部门的组织客户数据管控组织系统架构数据质量检核与反馈系统检核对象管理导入、查询、修改、删除检查对象检核规则管理新增、删除、修改检核规则检查频度管理制定检查周期和时间权限管理用户建立权限管理问题报告问题查询规则查询打包下载......问题管理维护并管理发现的数据质量问题日志查询报告管理系统功能调度管理整合层汇总层集市层贴源层针对每个数据管控手段提出相应的管理流程，并在此基础上形成客户的数据管控流程数据质量事后管控数据质量事中监控数据生命周期数据标准元数据标准申请标准设计审核与发布落地推广审核与评估数据质量1234评估管理手段设计管理手段落地推广数据质量事前防范元数据申请审批与发布推广与使用管理与维护工作界面整合业务部门人员IT部门人员数据管控管理人员数据标准管理标准申请标准更新标准查询标准监控管控工具支撑环境系统管理权限管理日志管理调度管理数据质量管理稽核引擎问题分析问题管理规则管理元数据管理规则数据标准数据指标数据知识数据职责数据接口管理ETLEAI数据复制数据生命周期管理规则管理有效期申请审批有效期查询有效期监控管控体系设计数据管控机制设计数据质量管理体系元数据管理体系数据标准管理体系数据生命周期管理体系大纲数据质量管理制度及规范数据质量管理组织架构数据质量事后治理数据质量事前防范数据质量事中监控数据质量管理流程数据质量管理支撑工具1234123数据质量稳步提升银行数据质量管理框架建议问题快速处理回顾总结状态报告监控检核方案制定监控执行问题分析与风险评估数据问题收集业务需求驱动问题解决驱动问题根源分析业务需求分析数据处理流程优化需求业务流程优化需求源系统改造需求设计与实施数据质量管理支撑工具数据质量管理制度及规范数据质量管理组织架构数据质量事后治理数据质量事前防范数据质量事中监控数据质量管理组织必须遵守的相关制度及规范，同时数据质量事后治理、事中监控、事前防范三个环节必须以之为基准开展工作，并保证数据质量管理的实现。数据质量管理的日常活动及数据质量相关项目中积累的各类经验，将有助于制度及规范的完善，增强管理保障的力度，进而更好地保证数据的总体质量。11数据质量管理流程123数据质量管理框架说明－数据质量管理制度数据质量管理支撑工具数据质量管理制度及规范数据质量管理组织架构数据质量事后治理数据质量事前防范数据质量事中监控2落实数据质量管理组织职责，明确岗位责任，推进数据质量事后治理、事中监控、事前防范流程执行。数据质量事后治理、事中监控、事前防范等流程改进优化，也会触发数据质量管理组织职责合理调整。2数据质量管理流程123数据质量管理框架说明－数据质量管理组织数据质量管理支撑工具数据质量管理制度及规范数据质量管理组织架构数据质量事后治理数据质量事前防范数据质量事中监控数据质量事后治理、事中监控流程中都涉及到对数据的修改、清洗以解决质量问题，因此可以相互分享知识和经验。数据质量事中监控有助于发现事后治理的潜在需求。在数据质量事后治理、事中监控流程中都会发现数据质量问题，对于影响重大或者发生频繁的数据质量问题，针对这些问题需要采取主动事前防范保证措施，以降低未来对数据质量的负面影响。3数据质量管理流程1233数据质量管理框架说明－数据质量管理流程数据质量管理支撑工具数据质量管理制度及规范数据质量管理组织架构数据质量事后治理数据质量事前防范数据质量事中监控4数据质量事后治理、事中监控、事前防范在执行过程中，将发现的数据质量问题、数据质量问题解决经验记录在数据质量管理支撑工具中，为后续的数据质量治理提供依据和借鉴。数据质量管理支撑工具，通过数据质量检查报告，分析数据质量问题热点区域，为数据质量流程改进提供重要依据。数据质量规则管理是数据质量管理支撑工具的一个重要组成部分。4数据质量管理流程123数据质量管理框架说明－数据质量管理支撑工具数据质量管理基本制度及规范制度规范管理办法技术规范与模板数据质量管理规范数据质量检查规则管理办法数据质量事后治理管理办法数据质量清理提升方案审核数据质量提升方案复核数据质量事中监控管理办法自动监控与手工监控质量问题处理质量问题分析及报告质量状态报告数据质量事前防范管理办法数据库改造需求评审源系统改造需求评审业务流程改造需求评审数据质量检查规则模板数据质量事后治理方案模板数据质量事前防范方案模板注：数据质量管理制度及规范制定工作，需要各部门积极参与，并讨论并达成一致，以确保规范及制度覆盖数据质量管理工作的各个方面。数据质量考核办法数据质量检核模板数据质量状态报告模板银行数据质量管理建议：数据质量管理制度及规范所有信息、属性是否按照系统和业务规则完整填写，是否有遗漏的情况。完整性是否准确地收集到相关信息，并如实在系统中进行录入和处理。正确性不同系统、不同业务之间关联的数据之间是否一致，包括一致的定义、含义、取值及操作规则等。一致性数据是否能够及时地被获取，是否能够反应当前业务运营状况，以满足对数据进行加工、查询和分析的业务需求。及时性数据是否被适当地发布和使用，以确保数据被安全地使用适当性以业务的需求为导向，选取业务对数据质量要求最为紧迫的数据，设定相应的数据质量指标。以各机构/部门的实际能力为基础，所选的指标目标值是各部门经过一定努力可以达到的。设定可量化的指标，并尽量选取可通过IT工具进行统计和计算的指标。示例数据质量管理制度及规范：数据质量考核办法合约关键数据质量指标财务关键数据质量指标客户关键数据质量指标产品关键数据质量指标渠道关键数据质量指标资产关键数据质量指标数据质量考核指标客户关键数据完整性客户关键数据正确性客户关键数据一致性客户关键数据及时性客户关键数据适当性考核的数据对象考核指标简要说明借助数据质量管理支撑工具稽核ECIF、PCRM、核心系统的客户关键信息是否存在遗漏。采用抽样核验的方式，定期抽样客户的真实资料信息与ECIF、PCRM、核心系统、个贷等系统中的信息进行比对，验证客户关键数据是否属实借助数据质量管理支撑工具核验ECIF、核心系统、信贷系统等关键客户数据的一致性采用抽样核验的方式，定期核验ECIF、核心系统、PCRM中客户关键数据的采集、维护的及时性（事后录入）采用抽样核验的方式，定期、定性地考核客户关键数据是否被适当地发布和使用。说明：客户数据作为银行最为关注的业务数据之一，当前客户数据质量的问题较为突出，建议将客户数据质量作为数据质量考核的重点。机构关键数据质量指标员工关键数据质量指标事件关键数据质量指标数据质量管理制度及规范：数据质量考核示例示例银行数据质量管理建议：数据质量管理组织数据责任人总行分行1分行2分行…数据治理决策委员会总行领导数据治理委员会数据治理办公室数据标准管理员数据架构主管数据治理经理数据生命周期主管数据质量主管个人金融部资金管理部对公业务部。。。业务线责任人区域数据架构管理员数据标准主管元数据管理员数据生命周期管理员数据质量管理员数据模型主管数据责任人数据录入人员业务定义人员数据使用人员系统责任人数据建模师元数据主管系统技术责任人系统专家数据维护人员系统业务责任人项目经理架构师开发测试人员业务分析人员核心系统信贷系统网银系统ESB客户管理数据仓库资产负债...侧重面向当前的数据，根据数据质量检查规则和检查规则，对数据质量进行持续的、周期性的监测。侧重面向未来的数据，防患于未然。通过业务流程优化、源系统改造等方式保证未来数据质量。侧重面向历史的数据，按业务系统或者主题分批对数据进行剖析、清洗，提高既有数据的质量。历史数据未来数据数据质量事后治理数据质量事前防范数据质量事中监控事前防范事中监控事后治理当期数据银行数据质量管理建议：数据质量管理流程清理发起规则制定问题根原因及影响分析清理方案制定与方案实施1.2评估与明细数据质量清理范围1.3制定数据质量清理提升工作计划1.4获取相关资源1.5风险评估1.1识别已知数据问题及相关方2.3明确数据标准及业务规则2.4验证数据质量检查规则2.2识别关键数据项2.5转换数据质量检查规则为技术实现2.1了解目标数据概况3.1基于数据质量检查规则分析数据3.2使用数据质量检查规则校验数据3.3分析数据质量问题产生原因3.4数据质量问题影响分析4.1制定数据质量问题清洗解决方案4.2搭建数据清理环境4.3执行整改方案4.4评估整改方案执行结果2.4汇总数据质量检查规则注：数据质量事后治理包括清洗、补录、转换、归并等操作数据质量管理流程：数据质量事后治理监控检核方案制定监控执行状态报告回顾总结问题快速处理问题分析与风险评估数据标准定义元数据的定义关键输入数据质量状态报告数据质量管理知识与经验关键输出数据质量事后治理数据质量事前防范数据问题收集数据质量管理流程：数据质量事中监控业务需求驱动问题解决驱动问题根源及影响分析数据处理流程优化需求业务流程优化需求源系统改造需求面向未来业务需求驱动和问题解决驱动下，采取事前防范措施，保证未来的数据质量。通过分析问题和业务需求，分析可能的事前防范措施：源系统改造、业务流程优化、数据处理流程优化。针对以上改造和优化措施，也需要对管理制度、数据质量检查规则进行相应优化。方案实施明确业务环节及应用位置事前防范启动问题分析方案设计方案实施制定范围资源筹备数据处理流程优化方案业务流程优化方案源系统改造方案数据质量管理流程：数据质量事前防范数据质量问题管理数据质量规则管理数据质量问题分析数据质量稽核引擎系统管理数据质量检查规则定义数据质量检查规则查询数据质量检查规则更新数据质量问题登记数据质量问题查询数据质量问题分发数据质量问题跟踪元数据管理平台数据质量问题统计报告数据质量问题测量评分卡数据质量问题影响分析数据质量知识管理数据质量知识分类管理数据质量知识内容录入数据质量知识内容查询数据质量知识内容更新业务部门系统开发维护部门数据管理部门接口管理日志管理权限管理核心系统信贷网银……数据库直连样本文件获取数据质量分析清理数据分析数据清理数据补录调度管理数据标准银行数据质量管理建议：建立全行统一的数据质量管理支撑工具大纲管控体系设计数据管控机制设计数据质量管理体系元数据管理体系数据标准管理体系数据生命周期管理体系此规范应作为制定元数据管理各个规范的指导原则，同时应说明在企业信息／数据管理的框架下，和其它模块之间的关系整体管理办法此规范是对元数据的管理、维护、考核、组织、流程等方面，做一个完整的要求和说明，以确保元数据的可管理性、可维护性、可用性系统管理办法由于元数据管理对业务定义、技术规范、系统建设起到了指导作用，所以元数据系统自身的质量要求应该是最为严格。此规范是作为对元数据系统自身的质量要求质量管理办法元数据虽然元数据是“数据的数据”，但是它本身仍然是一种数据，也有其生命周期，也应有其生命周期管理规范生命周期管理办法此规范应作为元数据管理对于各个系统的设计、开发、测试、运行、维护的稽核及监控规范对系统稽核及监控管理办法由于元数据的各个内容都是涉及到跨部门跨专业的，如何维持不同背景的人员对元数据的理解及相关的操作（如创建、维护等）能保持一致，有组织、有系统的培训是达到此一要求的有效方法管理培训办法由于元数据管理具有强烈的规范性，对一般人员的作业习惯在初期会起到限制的作用，而元数据自身的完整、准确、一致、及时等因素，对各个方面的影响非常重大，所以如何对使用人员提供良好的服务，是元数据实施成败的关键管理服务办法元数据管理办法数据责任人总行分行1分行2分行…数据治理决策委员会总行领导数据治理委员会数据治理办公室数据标准管理员数据架构主管数据治理经理数据生命周期主管数据质量主管个人金融部资金管理部对公业务部。。。业务线责任人区域数据架构管理员数据标准主管元数据管理员数据生命周期管理员数据质量管理员数据模型主管数据责任人数据录入人员业务定义人员数据使用人员系统责任人数据建模师元数据主管元数据管控组织核心系统信贷系统网银系统ESB客户管理数据仓库资产负债...系统技术责任人系统专家数据维护人员系统业务责任人项目经理架构师开发测试人员业务分析人员元数据元数据申请审批与发布制定职责明确范围元数据定义流程描述明确元数据管理相关人员职责和元数据范围，对技术元数据、业务元数据进行定义，形成统一版本，提交元数据申请责任部门数据治理办公室数据主责部门数据录入部门业务定义部分数据使用部门主要工作内容明确元数据执行的相关部门和角色，确定相应职责各责任人提出元数据新增、修改、删除的申请确定元数据涉及的业务和系统范围形成技术元数据、业务元数据的初步定义根据申请的相关性，提请不同级别的决策层审核提交申请元数据管控流程（1/4）推广与使用管理与维护元数据元数据申请现状分析元数据审核元数据发布流程描述根据银行现状，对申请内容进行审核，评审，确定元数据范围，元数据定义责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容决策层对元数据申请进行审批对元数据进行分析，获取数据的血缘关系等对行内元数据的各类申请进行审核和处理，确定元数据范围确定元数据定义包括技术元数据、业务元数据等确定元数据管理人向全行发布元数据元数据管控流程（2/4）审批与发布推广与使用管理与维护元数据元数据申请元数据培训元数据实现元数据使用流程描述对银行业务条线和技术条线进行元数据培训、实现、使用。责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容治理办公室进行元数据培训将元数据录入到元数据管理平台发布元数据应用推广全行各业务系统使用元数据元数据管控流程（3/4）审批与发布推广与使用管理与维护元数据元数据申请元数据评估元数据变更元数据废止流程描述对元数据使用进行评估，考察相关的实施结果，对相关情况进行总结，提出修改或注销申请，最后形成有效的元数据管控闭环。责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容评估元数据使用情况，定期监测元数据在系统中的使用情况，提交使用分析报告将问题返回元数据日常管理层或者专项管理层处理。定期对元数据标准管理工作的相关情况进行总结将需要修改或废止的元数据申请返回给元数据管理层处理元数据管控流程（4/4）审批与发布推广与使用管理与维护不同的展示工具不同的开发工具不同存储数据库不同的业务定义不同的建模工具不同的专家知识等元信息元数据(MetaData)泛指描述领域概念(DomainConcepts)、领域关系(DomainRoles)、领域规则(DomainRules)的数据元数据协助企业的规划、设计、业务分析“落地”，为IT系统系统开发提供指导，从而促进企业统计口径的一致，促进企业流程的规范化元数据定义元数据技术支撑（获取、关联、浏览/检索、导出）元数据管理访问技术人员业务人员项目管理人员项目管理支撑数据质量评估辅助信息地图变更管理版本管理需求影响分析过程映射分析血缘分析实体关联度（活力）分析实体差异分析数据热点分析业务规则数据标准指标字典元数据管理功能框架建议数据库OLAP工具ETLReport工具DM工具业务文档……获取转换加载数据管控数据库信息浏览信息查询数据跟踪影响分析定制报表变更管理技术用户（开发维护人员）项目管理用户业务用户（数据与业务分析员）元数据管理支撑工具管理及维护桥接器元数据技术架构建议业务元数据技术元数据示例元数据应用举例：影响性分析示例元数据应用举例：血缘分析大纲管控体系设计数据管控机制设计数据质量管理体系元数据管理体系数据标准管理体系数据生命周期管理体系数据标准诊断需要形成企业数据标准体系，标准设计规范和方法，同时对标准的落地与实施形成建议。标准设计方法形成标准管理体系标准落地实施建议数据标准准备阶段数据标准编提交物编写阶段明确数据标准的提交内容标准设计指引原则标准设计的内容标准的业务和技术建设数据标准体系建设指导书企业数据标准框架准备企业主数据设计原则业务、系统数据分布现状数据标准蓝图框架企业级数据模型标准论证评估方法标准体系建设路径建议数据标准管理组织数据标准管理流程数据标准管理组织流程管理标准调研方法标准执行标准检查标准计划标准改进标准管理系统执行框架引进业界数据标准实施最佳实践，作为银行完善数据标准体系的参考唯一性数据标准基本信息规范制定原则稳定性前瞻性准确性可执行性低风险性保证标准命名、编码、业务解释等内容的唯一性。1维持数据标准的权威性，加强它的稳定性。2数据标准的调研、设计和执行要具备前瞻性，保证它的可持续性发展3业务定义、业务名称，业务口径等要具有准确性。4尊重实际情况和将来的发展，使标准具有可执行性。5充分考虑业务风险和技术实施风险，保证标准的顺利执行。6明确原则标准设计指引原则标准设计内容标准论证评估方法标准调研方法确定数据标准体系设计指导原则标准设计方法标准设计方法确定客户访谈资料制定标准实施方法与制作办法IT部门标准管理现状调研业务部门标准管理现状调研进行标准管理的差异分析评估并识别改进点分析标准梳理重点领域及优先级获取最佳实践确定访谈目标目标拆解厂商Y国外实践厂商Y国内实践同业实践大中型企业实践系统属性收集系统分类收集系统编码收集系统命名收集与最佳实践差异系统间差异业务与系统差异业务间差异业务定义收集业务流程收集业务口径收集业务使用场景可信数据源可信业务定义可信业务口径数据标准梳理主线其它业务系统实施方式数据标准的属性优先级数据标准的制作内容模板数据标准实施建议标准设计指引原则标准设计内容标准论证评估方法标准调研方法确定客户数据标准体系设计调研的方法标准设计方法标准设计指引原则标准设计内容标准论证评估方法标准调研方法数据标准的主要内容：数据标准的定义数据标准的分类数据标准的编码规范数据标准的命名规范数据标准的属性规范数据标准的应用建议数据标准化是研究、制定和推广应用统一的数据分类分级、记录格式及其转换、编码等技术标准的过程。利于实现不同层次、不同部门信息系统间的信息共享和系统兼容。信息标准的制定要求适合一定时期经济、社会和科学技术发展阶段，并为社会所公认和用法令形式予以推行，容许周期性修订和更新。数据标准规范标准描述标准关系标准定义标准隶属关系标准属性标准分类统一命名统一编码数据标准应用数据标准目标数据标准内容数据标准内容逻辑关系数据标准体系的内容分类和相互关系标准设计方法标准设计指引原则标准设计内容标准论证评估方法标准调研方法确定企业级标准框架与分类描述确定标准的定义和属性制定企业级分类体系编码制定企业级通用数据字典确定数据标准应用场景企业数据标准内容(5)数据标准名称(2)所属业务领域(1)业务定义(2)使用场景(3)业务使用规则(3)取值范围类型(3)允许值(6)数据字典(3)数据类型(3)数据长度(4)数据编码规则(6)业务数据管控(6)数据标准管控(6)可信数据源标准确定过程标准内容归类标准内容组成1.数据标准定义2.数据标准分类3.数据标准属性4.数据标准编码5.数据标准命名6.数据标准应用数据标准体系组成内容标准设计方法标准设计指引原则标准设计内容标准论证评估方法标准调研方法价值目标评估调研现状评估内容评估原则制定标准定义标准分类标准属性标准编码标准命名标准应用策略执行-数据标准的制定-评估不同标准内容项的准确性和可行性评估业务和系统中相关的标准内容项和目标的差距评估不同标准内容项和目标的实现程度和解决方案数据标准的论证评估方法数据责任人总行支行1支行2分行…数据治理决策委员会总行领导数据治理委员会数据治理办公室数据标准管理员数据架构主管数据治理经理数据生命周期主管数据质量主管个人金融部资金管理部对公业务部。。。业务线责任人区域数据架构管理员数据标准主管元数据管理员数据生命周期管理员数据质量管理员数据模型主管数据责任人数据录入人员业务定义人员数据使用人员系统责任人数据建模师元数据主管数据标准管控组织架构包括企业高层领导、战略决策层、执行层和操作层核心系统信贷系统网银系统ESB客户管理数据仓库资产负债...系统技术责任人系统专家数据维护人员系统业务责任人项目经理架构师开发测试人员业务分析人员指明数据标准管理工作方向与工作思路明确数据标准管理工作参与部门以及各部门在数据标准管理工作中承担的角色与职责管理规范明确参与数据标准制定的工作部门明示各部门参与数据标准制定的工作环节及工作细则数据标准制定管理办法明确参与数据标准审核的工作部门明示各部门参与数据标准审核的工作环节及工作细则数据标准审核管理办法数据标准明确参与数据标准发布的工作部门明示各部门参与数据标准发布的工作环节及工作细则数据标准发布管理办法数据标准管控规范和管理办法标准申请标准设计审核与发布落地推广审核评估指定职责明确流程提出申请申请审核数据标准流程描述根据指示精神，参考管理框架，结合管理现状，对所有分析使用者提出的问题和需求进行统一汇总，根据问题的相关性，提请审核。责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容制定并执行年度或者中长期的数据标准体系管理的相关计划明确数据标准执行的相关部门和角色，确定相应职责记录数据标准使用过程中的问题各责任人提出数据标准新增、修改、删除的申请根据申请的相关性，提请不同级别的决策层审核数据标准管控流程（1/5）标准申请标准设计审核与发布落地推广审核评估流程描述结合企业数据模型及现有的标准体系，对申请内容进行审核，评审通过后按照规范流程对标准体系进行更新，制定相关标准责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容决策层对数据标准体系制定和变更等重大问题进行审核数据管理层进行数据标准体系的调研、数据标准设计、数据标准建设执行等工作制定出数据标准的初步文档现状分析标准范围业务定义技术定义标准初稿数据标准数据标准管控流程（2/5）标准申请标准设计审核与发布落地推广审核评估审核批复发布流程描述对数据标准体系进行审核，并按照流程向相关业务部门和开发部门进行标准内容的发布责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容数据标准体系制定并论证完毕后，报请行领导进行审核审核通过后，按照相关的流程进行发布对于数据标准体系的重大变更问题，报请数据管理决策小组进行审核数据标准数据标准管控流程（3/5）标准申请标准设计审核与发布落地推广审核评估培训解释实施流程描述在业务条线和技术条线进行培训、宣讲、使用。责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容按照业务条线和技术条线，对相关人员进行数据标准体系的培训对业务人员和技术人员进行相关业务和技术的宣讲逐步在相关的业务和系统中运维和使用数据标准数据标准管控流程（4/5）标准申请标准设计审核与发布落地推广审核评估数据审核标准评估标准变更标准废止流程描述对数据标准相关要求进行评估，考察相关的实施结果，对相关情况进行总结，最后形成有效的管控。责任部门数据治理办公室数据主责部门数据录入部门数据使用部门系统开发维护部门主要工作内容评估数据标准体系相关的要求考察数据标准目标的实现结果对没有实现问题返回数据标准体系日常管理层或者专项管理层处理。定期对数据标准体系管理工作的相关情况进行总结将相关的结果返回给数据标准体系的管理层处理数据标准数据标准管控流程（5/5）标准设计数据标准管理流程落地实施标准评估管控评估问题分析回顾回顾业务现状差异评估数据现状系统现状标准申请数据治理支撑平台－数据标准部分技术支撑流程规范组织与人员政策与原则客户数据治理政策标准蓝图框架评审和发布问题收集标准规划系统梳理建设方案改造方案质量检查执行评估从规范、组织、流程和技术的角度细化数据标准执行框架标准管理组织架构标准管理岗位职责数据标准指导原则客户数据标准框架数据标准规划路径明确改造方案明确在全行范围内进行数据标准实施的可能性方案，描述方案执行的相关流程和可能出现的情况。完善管控方法形成数据标准执行情况的检查机制，从实施、评估、改进等多个角度形成管控，保证数据保准的执行。给出演进路线数据标准的执行和改造是一个复杂的过程，必须结合客户的实际情况，给出相关的演进建议建议，分阶段的进行实施。制定标准流程在项目实施前，针对数据标准的执行、维护、评估等给出完成的处理流程，保证数据标准的顺利执行。确定负责部门由行领导牵头确定数据标准的主责任部门。全行各业务线系统线应按照主责任部门的规范的要求统一行动，统一处理，服从责任部门的工作指派。数据标准执行框架中的实施要点检查执行计划改进总体计划：根据客户企业信息化进程，确定数据标准的工作计划，并逐步推动。收集问题：定期收集相关业务条线，系统条线的数据标准的问题，进行分类，找到解决办法。整体决策：根据数据标准需求的任务，并根据问题的重要性，进行数据标准情况的汇总，提请不同级别的决策层审核。制定方案：制定数据标准的建设或者调整建议业务和技术方案。事前评估：进行业务和技术方案的整体评估，进行方案的调整和互动。业务执行：按照数据标准的要求，在业务条线进行贯彻。系统执行：系统线按照建设方案，进行逐步的演进。定期检查：采用相关的技术手段对数据标准的执行情况进行定期的检查，给出检查报告。事后评估：针对业务或者系统对于数据标准的执行情况报告，进行细致的评估。改进方案：按照事后评估的执行情况，提出数据标准执行问题的改进方案。形成闭环：将各个步骤进行衔接，形成数据管理的闭环过程。按照客户数据的实际情况，定制数据标准管控方法分析测量定义改进控制定义数据标准的质量管理目标。定义数据标准的质量管理需求。定义数据标准的质量管理范围。定义数据标准的质量分析维度。定义数据标准的质量测量基准。分析数据标准的业务环境和技术环境制定数据标准质量测量规则数据标准质量检查规则的分级准备数据标注质量的测量脚本测试数据标准的数据质量编制数据标准的质量报告选定数据标准的主要数据质量问题分析数据标准的质量原因制定数据标准的质量改进方案执行数据标准的质量改进方案确认数据质量改进方案的有效性日常数据标准的数据质量监控报告数据标准的质量状态数据标准问题的过程性管理数据标准执行的质量状况数据标准执行的差异性分析业务差异性技术差异性数据标准质量状况分析数据标准执行情况的成熟度评估持续优化量化管理主动管理基本管理初始管理数据标准问题统一管理并定期审核，所有相关部门按角色参与数据标准问题发现和处理。实现数据标准问题的统一管理，问题处理方法完备，重点部门可以协调工作。开始实施数据标准问题统一管理，实现部分问题的自动检查，定期召集相关部门讨论。针对数据标准问题准备进行统一管理，但是驱动力不清晰，部门间沟通困难。面对数据标准问题进行常规处理，依照问题选择沟通对象。业务名词业务定义描述业务逻辑说明业务属性说明业务属性值说明业务场景业务使用其它情况数据项名称数据项说明计算逻辑说明数据项属性说明数据项属性值说明数据字典应用使用其它情况数据标准执行差异性分析报告数据标准执行质量分析报告政策调整管理体制调整业务调整技术调整数据标准执行确定数据标准执行的评估体制，为数据标准的改进工作提供支持数据治理平台生产型系统分析型系统数据质量子系统数据标准子系统元数据子系统数据安全管理子系统其它子系统核心系统个贷系统网银系统国结票据系统其它获取层数据层应用层访问层数据仓库系统标准发布标准内容导入标准与源系统映射标准与源系统接口标准数据模型标准数据管控标准数据封装标准数据服务组织标准数据管控标准数据存储标准应用集成标准数据管控标准应用组件角色应用适配管控流程编排标准查询系统管理标准执行报告标准问题追踪标准接入管理数据标准管理的整体功能架构建议标准发布标准查询系统管理标准执行报告标准问题追踪标准接入管理内容查询对比分析版本查询数据治理平台门户数据标准子系统接入标准调研发布标准内容发布标准管理流程发布标准调研发布标准内容发布标准管理流程发布标准调研发布标准内容发布标准管理流程发布标准数据质量报告标准差异型报告角色管理用户管理系统功能配置数据标准访问层功能架构图由客户数据模型推导核心关键数据主题域分布和关系，总结各个主题域中的关键数据，进行数据标准框架的内容组织。从信息分类出发，分析客户各主题域内的信息解析关系，以高阶逻辑数据模型为参考，将相关的数据内容进行分类产品合约如产品合约、抵质押合约、员工雇佣合约账户如存款账户、信用卡账户理财账户、总账账户参与方如客户、员工、内部机构事件如申请、交易事件、评估事件、营销活动渠道如柜面、ATM、网络地理位置如区域和地址资源项如抵质押品、文档、市场资讯信息财务管理银行财务管理，如总账、费用成本、权益等内部机构管理产品内部机构销售产品产品面对客户市场细分客户申请产品客户触发交易事件员工受理事件产品合约是产品实例客户拥有产品合约员工有雇佣合约账户是银行合约的主要表现形式申请针对产品营销活动推广产品交易事件是关于产品协议的服务递送交易改变账户的余额和属性合约通过渠道签署和管理交易事件通过渠道进行位置描述当事人的联系方式位置描述资源所在地位置描述产品的销售区域客户拥有资源项内部机构管理会计要素资源是合约的抵质押品ATM、网络等资源用于渠道营销计划针对客户市场细分账务事件、报销、采购客户通过渠道办理业务内部机构、财务人员事件记录于文档所有资源都在财务进行入账管理账户是产品的明细实例账户数据组成财务数据产品渠道合约事件账户财务管理地理位置资源项参与人需要为产品主题域建立数据标准需要为渠道主题域建立数据标准需要为合约主题域建立数据标准事件主题中具有共性的是营销、交易，其它如指令、投诉等不具备通用性特点，但是在某些业务条线可以对他们进行规范条件主题中很多已经形成了规则，作为产品、交易的等数据标准的属性配置项。可以对财务管理需要建立数据标准区域，邮编，国家，电话等都已经是国家标准，可以作为公共标准；地址没有形成统一的标准关系人中重点的数据项都需要进行标准化的工作，例如客户，员工，机构等资源中很多的数据没有公用性，如房屋、商品、土地、现金等，而且大部分都有相应的国标来规范机构标准类产品标准类渠道标准类合约标准类交易标准类公共标准类营销标准类员工标准类客户标准类账户标准类客户数据标准体系框架基于高阶逻辑数据模型，分析并总结各主题领域中需要进行数据标准指定的内容给出产品的定义、范围和判定原则机构标准类产品标准类渠道标准类合约标准类交易标准类公共标准类营销标准类员工标准类客户标准类账户标准类数据标准体系框架产品数据标准框架内容机构数据标准的框架内容1.定义2.分类3.属性4.编码5.命名6.应用产品的分类层次主要包括产品线、产品组、产品管理分类、产品等反应产品的标准属性，如产品描述，介质，利率等。还包括产品服务类属性包括费用收取情况，产品成本情况等。尊重产品分类进行产品的统一编码，对现有产品编码规则，特别是重要系统编码原则兼容梳理产品命名的原则，如怎样反应产品分类和重要属性。产品的管理机制，管理模型和管理流程。产品数据标准实施的步骤和路径1.定义2.分类3.属性4.编码5.命名6.应用给出机构的定义，范围和判定原则，对于特殊组织形成的处理方法。机构分类需要表达营业机构与内设部门，境内外机构，虚拟机构，组织团体之间的关系反应机构的各种属性，如机构名称，类别，状态，位置，重点业务特征等信息尊重机构分类进行机构的统一编码，对现有系统的机构产品编码规则尽可能兼容结合国家组织机构标准，并结合金融许可证登记名称和组织管理现状提出命名标准。建立机构数据标准的管理机制，管理流程。给出机构数据标准的实施步骤和方法。银行数据标准体系框架内容概览（1）机构标准类产品标准类渠道标准类合约标准类交易标准类公共标准类营销标准类员工标准类客户标准类账户标准类数据标准体系框架客户数据标准框架内容员工数据标准框架内容1.定义2.分类3.属性4.编码5.命名6.应用员工的定义，范围和判定原则确定员工分类的主线，通常采用人力线和业务角色线混合的分类模式，但是业务线存在交叉，必须抓住一些核心的员工业务线，保证分类的合理和有效性人员的属性众多，由于用途不同，建议进行属性类别的细分，如基本属性，薪酬属性，档案信息，奖惩信息，管理信息等人员的编码主要是保证唯一性，有无业务规则不重要。无命名规则要求以EHR系统的实施作为切入点，从统一分类方法入手进行应用实施1.定义2.分类3.属性4.编码5.命名6.应用需要按照分类去规范客户的定义，范围和判定原则。客户的分类可以从个人、对公、三农等角度进行数据标准的设计从客户的基本属性，金融属性，管理属性，分类专有属性等角度梳理不同分类客户的基本属性尊重客户分类进行客户的统一编码，尽最大努力兼容重要系统的客户编码现状无命名规则要求结合客户统一视图，ECIF等系统的建设和改造，逐步落实客户数据标准的实施和演进路径数据标准体系框架内容概览（2）机构标准类产品标准类渠道标准类合约标准类交易标准类公共标准类营销标准类员工标准类客户标准类账户标准类数据标准体系框架1.定义2.分类3.属性4.编码5.命名6.应用渠道的定义，范围和判定原则渠道的分类比较通用，可以从网点，网络，客服，代理，电信，广播电视，印刷品等角度进行分类处理渠道的属性包括基本属性，管理属性，成本属性，运营属性，专有属性等组成。渠道的变化性相对较少，建议制定完善的统一编码方式进行管理渠道的变化性相对较少，建议制定完善的统一命名方式进行管理建立渠道数据标准的实施步骤和管理方法，在一个和营销相关的系统中进行切入试点，进行快速的完善工作。1.定义2.分类3.属性4.编码5.命名6.应用营销的定义，范围和判定原则。营销的分类分为客户保持类，客户获取类，交叉销售类等。营销的属性包括基本规划属性，营销事件属性，市场调查属性，市场促销属性和广告媒体属性等营销的过程和结果具有很强的趋同性，可以参考类似的特性进行管理，应当按照分类的方法的统一编码。营销的过程和结果具有很强的趋同性，可以参考类似的特性进行管理，应当按照分类的方法的统一命名。营销的实施步骤和管理流程是一个需要模板化的过程，可以迅速提升企业的竞争能力营销数据标准核心框架内容渠道数据标准核心框架内容银行数据标准体系框架内容概览（3）机构标准类产品标准类渠道标准类合约标准类交易标准类公共标准类营销标准类员工标准类客户标准类账户标准类数据标准体系框架1.定义2.分类3.属性4.编码5.命名6.应用渠道的定义，范围和判定原则客户与客户，内部机构，外部机构之间的契约关系，包括存款账户、贷款账户、信用卡账户、交易账户、投资账户、内部账户等账户的属性包括基本属性，账户的统计信息，账户的专有属性等尊重账户分类进行账户的统一编码，尽最大努力兼容重要系统的账户编码现状无命名规则要求账户需要更多的参考A系统中的各账户类型的设计现状，给出实施的方法和管理措施。账户数据标准核心框架内容1.定义2.分类3.属性4.编码5.命名6.应用合约的定义，范围和判定原则合约分为产品合约，担保合约，雇佣合约，资产证券化合约，以资抵债合约，合作合约等合约的属性包括基本属性，合约的金融属性，合约的管理属性，合约的执行属性，合约专有属性等尊重合约分类进行合约的统一编码，兼容重要系统账户编码现状对合约的命名采用规范化的方法进行，能够区分合约的种类和合约的重要性质制定合约的规范化管理流程，保证合约模式的增删改查的管理机制的流程化合约数据标准核心框架内容银行数据标准体系框架内容概览（4）机构标准类产品标准类渠道标准类合约标准类交易标准类公共标准类营销标准类员工标准类客户标准类账户标准类数据标准体系框架1.定义2.分类3.属性4.编码5.命名6.应用找到各个业务中公共使用的代码或者描述术语进行统一的定义和规范。为公用数据建立分类，按照国际标准，国家标准，金融标准，客户标准的分类方式来进行。每个公用代码的属性值按照相应的标准并结合客户的实际情况进行定制尽可能按照标准提供的编码进行尽可能按照标准的命名方法进行公共数据标准建议和基本指标体系的维度一并进行，同时对于一些不能做维度处理的按照通用处理方法规范。公共数据标准框架内容1.定义2.分类3.属性4.编码5.命名6.应用交易的定义，范围和判断原则交易的分类从大类到小类逐层细化，大类包括金融交易类和非金融交易类，再向下可以参考产品的一些分类进行归纳，如支付，存款，贷款等交易的属性包括基本属性，柜员属性，账务属性，渠道属性等组成交易的编码通常按照交易的分类进行规范，同时也要考虑关联系统的交易流水的规范处理交易的名称应当表现交易分类的名称以某一个系统的实施落地为切入点，逐步落实客户数据标准的实施和演进路径交易数据标准核心框架内容银行数据标准体系框架内容概览（5）1.数据标准制定申请书2.内部业务调研模板3.内部系统调研模板4.外部调研模板5.数据标准调研汇总模板6.数据标准内容模板7.数据标准内容评估模板1.数据标准实施方案建议2.数据标准实施演进路线3.数据标准数据质量检验报告4.数据标准执行差异型报告5.数据标准日常问题收集模板1.数据标准管理岗位描述2.数据标准管理流程描述数据标准设计模板数据标准管理类模板数据标准实施类模板银行数据标准模板体系数据标准管理系统数据获取层数据加工层应用整合层访问接入层标准发布标准内容导入标准与源系统映射标准与源系统接口标准数据模型标准数据管控标准数据封装标准数据服务组织标准数据管控标准数据存储标准应用集成标准数据管控标准应用组件角色应用适配管控流程编排标准查询系统管理标准执行报告标准问题追踪标准接入管理为数据标准模板定制内容导入工具利用ECEL等整理标准和源系统影射文档按照映射文档产生数据标准映射脚本对应数据质量检查平台功能进行标准检查ETL工具、程序开发、编制文档ERWIN建模工具，参考企业数据模型组件式开发数据标准封装按照数据标准组织框架定制标准角色数据存储规划、方式确定ETL工具、ERWIN、程序开发、数据库设计对应数据质量检查平台功能进行标准检查ETL工具、程序开发、数据库设计程序开发标准应用展示SOA组件标准应用业务逻辑SOA组件数据标准权限管理的组件数据标准工作流管理对应数据标准质量检查平台功能进行检查数据标准应用展示数据标准应用管理数据标准功能架构对应的技术层次和实现方法推广阶段试点阶段建议阶段数据标准执行建议试点主数据信息管理系统初步改造重点相关系统深化改造重点相关系统建设主数据管理系统全面改造相关系统明确数据标准管控流程制定组织机构标准管理规范完善数据标准管理组织完善数据标准管理流程建立数据质量稽核机制完善数据质量管理体系建立业务线评估机制建立系统线评估机制建立影响性分析方法整理相关系统数据状况标准组织管理标准质量管理标准评估管理标准执行完善数据标准的执行路径大纲管控体系设计数据管控机制设计数据质量管理体系元数据管理体系数据标准管理体系数据生命周期管理体系数据治理规划阶段：业务规划定义阶段：业务规划、业务标准设计应用设计实现阶段：数据模型设计、应用设计实现、数据录入数据生命周期管理阶段数据创建数据使用数据归档数据销毁数据治理规划阶段数据生命周期管理阶段业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据创建数据创建数据使用数据归档数据销毁数据销毁数据生命周期阶段划分业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据治理规划数据创建数据创建数据使用数据归档数据销毁数据销毁数据生命周期制定数据编码标准制定数据归口标准完善业务指标体系定义制定数据质量衡量标准建立数据质量评估定义元数据管理规范增强业务部门对数据定义、数据标准认识，从业务定义阶段就规划好数据质量标准、数据有效期、数据重要程度等关键要素定义数据属主系统，确定数据唯一权威中心设计数据分布规划，约束应用对数据的使用方式规范数据接口管理，提高数据流转管理能力提高应用系统对数据质量管理支撑力，应用设计和实现必须遵循规范和标准约束，增强前端数据录入约束，系统内部实现质量自身检查银行数据孕育期阶段结合银行现状制定符合银行的数据生命周期阶段（1/2）结合银行现状制定符合银行的数据生命周期阶段（2/2）减少数据冗余，提高数据一致性减少存储、硬件、运维等方面基础设施投入提升应用系统性能，提高响应速度满足业务操作和管理分析的需要满足对历史数据查询相关政策和管理制度的要求满足审计管理要求业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据治理规划数据创建数据使用数据归档数据销毁数据生命周期数据创建数据销毁数据创建利用数据模型保证数据完整执行数据标准保证数据准确加入数据质量检查创建准确保证数据在合理的系统生成银行数据生命周期四阶段重点关注数据使用利用元数据监控数据使用利用数据标准保证数据准确利用数据质量检查加工准确确保数据在合理的系统使用控制数据的派生数据归档利用评估手段保证归档时机分数据类型归档数据数据销毁利用评估手段保证销毁时机分数据类型销毁数据数据生命周期重点关注数据生命周期目标数据的活跃度要求根据承载系统的重要性，对应用系统整体性能进行有效的提升提升业务数据访问的频度数据的存储成本要求减少存储成本的投入减少硬件等基础设施投入数据的运维成本要求减少运维管理方面投入减少人员成本的投入数据的风险管理要求满足业务操作和管理分析的需要；满足对历史数据查询相关政策和管理制度的要求；满足审计管理要求；数据的及时性要求