数据仓库体系培训课件(PPT 43页)

数据仓库体系培训主题数据仓库体系规划数据仓库实施方法论Q&A数据仓库规划步骤*现状分析体系规划实施路线基础数据平台与分析型系统现状总结银行现有数据仓库体系差距规划数据仓库系统总体技术蓝图制定相关管理制度与#工作流程#规划数据仓库体系分阶段落地方案与实施路线图指导方针承前启后：着重考虑对前期工作的承接和规划成果的落地实施敦本务实：实施公司、同业经验与银行实际相结合远近兼顾：立足长远与满足当前需求相结合数据仓库典型体系架构（星型－EDW）SASBYHTCMSPMS。。。调度软件（Control-M、Automation、ETL_PLUS）ETL软件前端软件管控平台DM信用卡集市DM信贷集市DM风险管理集市DM。。。ETL软件ETL软件ETL软件前端软件前端软件前端软件数据仓库典型体系架构（集中型－EDW）SASBYHTCMSPMS。。。调度软件（Control-M、Automation、ETL_PLUS）ETL软件PowercenterDatastage文本脚本前端软件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、Oracle）缓冲层模型层汇总层集市层管控平台数据仓库典型体系架构（混合型－EDW）SASBYHTCMSPMS。。。调度软件（Control-M、Automation、ETL_PLUS）ETL软件PowercenterDatastage文本脚本前端软件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、Oracle）缓冲层模型层汇总层集市层管控平台库外集市库外集市数据仓库体系规划应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。BI环境内的数据架构集市层汇总层预连接/预处理ODS基础层客户账户资产交易产品渠道财务账户汇总交易统计汇总客户汇总机构汇总产品汇总渠道汇总指标库:规模指标、客户指标、盈利指标、风险指标等核心个贷法贷基金存管国结IT人员业务分析人员决策用户高级分析人员ODS层解决源系统快速接入的问题；避免从源系统频繁、重复数据抽取；源系统一次性分析、一次性抽取、一次性接入；需要随着源系统变更进行维护基础层面向主题整合；保留详细数据和历史数据按照业务驱动、逐步建设模型相对稳定；但是随着源系统和数据业务的变化，ETL加工逻辑会长期变化应用集市层面向应用的个性化定制。汇总层提供统一的业务口径。避免集市的重复加工。随着应用建设逐步完善模型相对稳定，随着业务扩展可以扩展模型；随着业务统计口径变化，ETL加工逻辑会变化；不同层次应用场景1审计/风险管理等需要未经加工的业务原始数据源数据质量检查规则、常规报告……应用用户、决策用户会访问特定应用……业务人员通过设定业务检查规则来明确模型可用性业务部门人员多数需要常规报表供日常呈报……业务人员参考整合规则来验证业务正确性POWERUSER通常需要访问第二层对数据进行深入分析……234ODS&EDW特点比较ODS:与源系统保持一致基本不进行转换和整合当前最新数据EDW:第三范式模型进行数据整合和转换当前数据和历史数据ODS:状态类数据保存当前最新数据日志类数据保存3个月针对及其特殊的需要可以考虑对数据保留一定时间段的历史EDW:一般最长在线保存7年。事件类数据在线保留时间会短一些，13个月左右。ODS:全部源系统不重复保存已经入EDW的Event类数据EDW:全部源系统的原始细节数据，不接入派生和汇总数据。ODS:时效性要求高的不需要需历史数据需要访问最始数据（审计、稽核类）的应用EDW:模型区时效性可以满足要求的需要访问历史数据的基于多个系统整合数据的不是必须访问原始数据的应用数据模型数据接入数据存储数据应用ODS特点面向数据的非集成的易变的当前数据的详细的EDW特点面向主题的集成的稳定的随时间变化的详细的业务处理系统(OLTP)用户群体客户员工应用交易处理帐务处理访问特征频繁的更新偶尔的查询数据模型当前状态数据很少的历史数据范围比较小战略性分析(EDW)用户群管理人员高层领导应用战略性分析复杂的查询和报表预测访问特征批量插入-很少的更新频繁的复杂查询优劣势对比解决企业的决策需求不能满足实时监控和实时业务需求战术性查询(ODS)用户群体一线的业务人员客户应用业务领域查询战术性决策支持简单的分析（评分）访问特征当前数据访问查询较多优劣势对比满足实时监控和实时业务需求不能满足中远期决策需求EDWOLTP1OLTP2OLTP3任务的连续性ODS&EDW价值和定位ODS最佳数据架构，ODS和EDW是互为补充的。ODS层模型偏源系统模型部分数据保留全量少量数据保留短暂历史简单处理不考虑整合考虑保留策略基础层模型VS.汇总层模型应用集市层模型数据仓库体系规划应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。统一数据交换统一调度架构统一监控架构统一信息发布统一信息发布定位统一信息发布平台定位为广发银行数据仓库体系的展现平台，用于展现银行的基础数据平台及所有分析型应用资源。分析型应用资源的集成包含前端界面的整合和各应用后台数据及权限的整合登录首页公告页面调用功能分析型应用集成角色管理授权管理系统管理日志管理会话管理应用模式固定报表即席查询数据挖掘用户身份管理统一认证单点登录安全审计认证管理统一信息发布内容统一入口权限管理应用集成统一数据管控架构元数据管理数据标准管理数据质量管理影响分析、血缘分析代码标准落地提供检核对象定位检核问题检核指标存储提供映射源数据标准存储数据标准信息模型数据标准文档提供检核规则提供检核问题检核规则指标模型源系统源系统源系统ETL数据服务StageFDMADM数据服务数据服务数据平台应用系统元数据元数据元数据业务元数据操作元数据技术元数据综合信息服务管理数据标准需求数据质量需求元数据需求银行业务需求数据仓库体系规划应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。国内银行商业智能应用客户管理支持国内银行的数据仓库应用种类超过40余个，主要分布如下：运营管理风险管理财务管理信息管理客户信息管理系统（CIM）分析型客户关系管理系统（ACRM）操作型客户关系管理（OCRM）个人积分计算客户贡献度计算/模型客户流失概率模型客户聚类细分模型产品购买关联度模型业务统计分析信用卡分析渠道分析、中间业务分析平衡计分卡经营指标快报(KPIDashboard)利润贡献度客户经理绩效考核产品绩效分析1104监管报表人行反洗钱人行征信非现场稽核五级分类数据加工内部评级法定价系统客户违约概率模型信用卡申请评分模型资本充足率资产负债管理关联交易应用支持人行集中金融统计内部财务信息分析管理会计数据标准企业数据架构数据质量管理元数据管理（Metadata）数据访问安全管理常见的应用模式及其演变发展报表发生什么事情预定义报表分析为什么会发生随机查询,BITools预测什么将会发生数据挖掘模型使用于操作什么正在发生捕捉动态事件ACTIVATINGMAKEithappen!事件营销操作智能是决策智能向业务系统和流程的延伸。决策智能操作智能业务需求/分析和应用模式的关系OLAP/固定报表随机查询挖掘模型用途：提供日常业务管理统计，辅助发现业务发展趋势。场景：客户分布发生变化或者某项业务趋势呈现异常，转而使用其他分析手段，以“客户交易金额和笔数分布发生变化”为例。用途：提供解决那些无法预先定义的查询分析需求以及查找问题时的详细钻取。场景：“客户交易金额和笔数分布发生变化”的详细分析，比如“哪些客户的哪些交易有了变化，是交易种类、金额、笔数还是交易场所？这些客户的特征是怎样的？他们在我行持有的产品分布如何？”用途：数据挖掘通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势。场景：经过随机分析发现那些属于“交易金额和笔数分布发生变化”的客户群中发现部分客户最近有销户或者已经很长时间不发生往来的倾向，因此需要利用“客户流失模型”进行评分，结合“客户等级”确定需要进行挽留的客户名单。用途：支持综合、复杂业务逻辑的应用，提供前端的用户使用界面。场景：设计营销活动进行客户挽留，输入该营销活动的“执行策略、日期、预计成本”以及具体的“沟通”和“渠道使用规则”等信息。上述各模式的使用顺序与逻辑仅是示例，依赖于具体的使用场景。应用系统分析人员应用规划考虑维度IT部门除了考虑数据质量、数据可用性、投资预算规模之外，更重要的是考虑应用实施能否满足业务用户目前收益心理预期等因素，要想的大（全面，具体，全局观）。数据仓库建设规划，要分步骤进行实施，起步从小做起（）；不同业务部门对业务应用的优先度要求不同，必须综合考虑不同部门对业务应用的策略价值和投资回报评价，形成初步的规划后，再经数据仓库管理委员会讨论确定。数据仓库建设规划，通常从以下三个方面进行评估：实施难度：IT部门评估策略价值：决策层评估投资回报：应用部门评估实施路线规划仓库规划咨询管控平台建设ODS系统优化业管技管理驾驶舱统一报送平台即席查询构建数据仓库技术框架数据仓库部分模型入仓数据标准扩展与落地数据管控平台应用业管技数据仓库接入范围扩展数据仓库主题完善数据标准完善完善、推广管控应用完善流程与制度建立商业智能团队风险应用客户管理业商业智能团队，扩大业务支持范围推广数据挖掘和即席查询应用迁移管全方位管控体系的执行和推广提升数据资产质量加强管控监督技数据仓库稳定与完善数据服务提高技技术架构管业业务支持数据管控准备阶段第一阶段第二阶段第三阶段数据仓库体系规划应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。运维体系规划从现有的经验看，数据仓库体系的运行维护主要是通过合理的组织架构，制定易于执行的运维管理流程和规范，通过完善的管理工具，对系统监控、问题处理、系统变更等常规问题进行系统化的处理，并在知识库中予以记录TitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhere日常监控变更管理问题处理容量规划备份恢复需求管理服务水平组织架构管理工具①②③④⑤⑥⑦⑧⑨主管部门技术支持部门生产运行部门数据支持部门资源管理部门资源监控服务监控应用监控运行性问题非运行性问题变更规范变更流程设计原则备份内容备份策略备份管理技术缓冲层整合模型层共性加工层应用集市层制定SLA标准落实标准周期性考核数据标准管理平台元数据管理平台数据质量管理平台综合信息服务平台问题管理系统项目需求临时数据类需求组织架构日常监控问题处理变更管理备份恢复容量规划服务水平管理工具需求管理运行维护规划－系统安全管理系统安全管理综述鉴于数据仓库中数据的商业性和保密性，需要一个安全的系统来加强数据仓库管理服务，在保证数据安全的基础上，提高数据仓库运作效率和准确性。数据安全保证需要从技术和管理两个层面实现，技术层面主要是通过技术手段保证系统的安全；管理层面主要系统的安全策略由安全处理流程和安全制度组成，通过定义安全需求，同时定义处理流程和规章制度以满足这些需求。网络安全：包括防火墙、地址翻译、监控网络通讯、数据传输加密等系统安全：包括限制用户访问主机资源、用户口令安全规则等应用安全：包括用户管理、权限管理、日志审计等安全策略：包括用户帐户统一管理、通报机制、单点登录等安全制度：包括建立角色权限视图、规范应用程序上线变更、生产与开发测试环境隔离等用户安全：包括用户认证、用户锁定、用户权限控制等数据库安全：包括物理安全、用户登录控制、数据存取控制可靠性保护：包括系统级数据保护、数据库级数据保护安全策略：根据不同用户需求划分为四个层面，DBA、业务用户、ETL用户、开发测试用户安全制度：通过制定数据安全使用授权机制及审批流程，结合安全审计等制度来保证数据资产的安全数据安全系统安全数据仓库体系规划应用体系应用主题·应用模式·应用方案·实施规划数据体系数据架构·ODS·基础层·汇总层·集市层技术体系统一交换·统一监控·统一调度·统一发布·统一管控运维体系数据存储·数据质量·元数据·安全组织架构管控体系组织架构·管控流程·管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。数据管控核心要素系统工具组织架构工作流程数据管控核心组成部分通过建立相应的数据管控组织架构，梳理完善的管控工作流程，通过系统工具支撑日常工作，使数据管控治理工作能够落到实处，全面提升银行数据运用水平和数据质量。数据标准管理组织架构和职责负责制定数据标准化；负责数据标准制定、评审、发布、执行、变更、复审等工作的具体组织与协调；负责数据标准执行情况的监督检查；协助制定数据标准化工作计划；负责IT系统开发流程中标准核检工作；协助数据标准执行情况的监督检查；负责数据标准管理平台的日常运营和维护、用户设置与管理；负责标准版本在平台上的发布；各业务部门标准管理员负责本部门数据标准相关需求的收集、整理，并在需求管理平台提交数据标准新增/变更需求。计划财务部数据标准专员根据收集到的标准需求，牵头开展定制相关标准、评审标准和审核落地计划等工作。信息技术部在日常软件开发流程以及变更流程中根据实际情况协助将标准进行落地。数据标准制定流程标准提出方（分行、总行部门）数据标准管理员（业务部门）数据标准管理专员（计划财务部）数据标准平台管理员（计划财务部）标准新增/变更需求是否提交？组织相关人员评审标准标准提出需求审批标准评审标准发布岗位职责比对现有标准否是数据标准咨询项目组收集标准需求组织标准可行性/必要性评审是否通过？否建立/变更数据标准制定标准是牵头申请标准立项，制定工作计划是否通过？结束需求否是标准发布数据标准管理平台需求管理平台非管控平台流程说明是否立项？是否建立/变更数据标准数据管控系统界面标准管理系统-标准浏览八大类信息项树产品分类映射到PMS中INDV_BASC_NFO的EDU_LEVEL学历标准代码小类信息项明细信息项标准与系统映射映射到具体字段元数据管理系统-数据字典浏览选择具体系统选择具体表查看卡状态代码“是否代码字段”为1，表示有代码注释数据质量管理系统检核规则检核结果质量分析检核字段：OPERATERID记录总数：3397问题总数：285检核字段：COLNUMBER检核类型：非空检核频度规则基本属性规则扩展属性指标趋势分析非空问题：31%长度问题：31%一致性问题：38%趋势分析问题数：3问题数：7类型分析检核对象规则定义报警渠道主题数据仓库体系规划数据仓库实施方法论Q&A需求分析系统设计开发与测试上线与维护企业基础数据平台项目实施方法论业务调研业务访谈业务需求编写业务需求分析信息调研应用概要设计应用详细设计应用模型设计应用设计应用开发逻辑模型设计物理模型设计系统体系架构设计ETL开发系统测试投产试运行系统管理运维数据访问服务数据管控（元数据、数据质量、数据标准、数据需求）项目管理项目前期准备项目结束回顾项目启动会议确认项目范围与目标确认项目实施计划确定工作小成员职责确定工作小组阶段性目标工作场地与环境准备项目管理规范准备圈定调研业务部门准备业务访谈与调研计划策略性规划应用系统确定系统重点用户业务需求调研与分析源系统调研与分析样本数据质量分析数据缺口分析建立实体模型逻辑数据模型客户化LDM转换PDM系统总体架构设计数据、ETL体系运维体系设计应用概要、详细设计数据接口设计系统界面设计用户权限设计应用数据模型设计ETL策略与体系结构设计ETL设计和开发应用功能模块开发用户访问权限开发企业门户集成开发开发、测试系统软硬件设备安装制定系统、UAT测试计划系统、UAT测试验收上线投产文档准备生产系统软硬件安装制定数据仓库日常管理与操作流程验证数据备份与恢复程序用户培训现场投产项目总结与汇报项目下阶段工作规划模型物理化－总体原则物理模型是数据仓库基础建设中模型建设的一部分，是逻辑模型的最终物理实现。所有的业务间逻辑均体现在逻辑模型中，物理模型仅仅反映逻辑在数据库中的具体体现。物理模型原则上与逻辑模型保持一致。在进行模型物理化时，需要注意以下共性环节：模型物理化原则表与字段物理命名选择字段数据类型确定字段大小写敏感选择及调整索引选择表分区字段表英文名全部字母大写，单词之间用下划线分开；字段英文名单词第一个字母大写，单词间用下划线。长度不超过30字符字段长度要足够存储源数据；考虑到源系统升级的因素，字段长度适当冗余；外键字段数据类型与主键字段保持一致索引选择主要有三种：查询常用原则；JOIN一致原则；对于父子类表，一般要求索引相同选择表中合适字段（如交易日期等）对数据做Partition分区。当访问条件中包含PPI字段时，可以提高访问效率，当加删时新数据是一个单独的Partition值时，也提高加删数据效率由LDM相关负责人确定，在PDM里显式标明该字段取值为大小写敏感的技术缓冲层－>数据整合层ETL开发方式设计LDM模型，并进行物理化根据LDM物理化模型，设计相关映射文档根据映射文档开发数据转换（ETL）脚本在这个步骤，使用脚本自动生成工具创建从技术缓冲层－>数据整合层（十大主题的PDM层）的数据处理脚本广发EDW一期项目实施规划与说明项目总体开发测试阶段计划7个月左右，然后进入3个月的试运行期。在项目正式进入维护阶段后，进入1年的维护期。项目里程碑设定分解为三部分：基础平台建设、即席查询建设（含统一信息发布平台建设）、数据服务建设（管理驾驶舱及统一报送平台供数）。基础平台建设即席查询建设数据服务建设12月1月2月3月4月5月6月7月8月9月10月112234231完成基础数据平台建设需求调研与分析完成基础数据平台系统设计，包括总体方案设计、模型设计、ETL设计、数据管控集成策略设计等完成开发、测试完成试运行提供业务部门使用完成即席查询应用需求调研与分析，以及架构设计、详细设计工作完成即席查询应用编码、测试工作完成试运行提供业务部门使用完成所提供的数据服务应用模型及映射解答配合管理驾驶舱、统一报送平台完成所需提供的供数验收Q&A注：提倡环保，打印ppt时首尾页请在必要时斟酌打印.