数据仓库逻辑模型介绍

数据仓库逻辑模型介绍数据仓库逻辑模型介绍Tony2010-3-15内容相关概念介绍数据仓库实施论LDM介绍学习经验分享一、概念-1(1)为什么要建设数据仓库?蜘蛛网问题数据缺乏可信性数据处理效率低下难以将数据转化为信息图1蜘蛛网现象一、概念-1(1)为什么要建设数据仓库?统一数据源统一数据标准一、概念-2(2)ODS、数据仓库、数据集市操作数据存储(OperationalDataStore)是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。数据仓库是面向主题的、集成的、稳定的(不可更新)、反映历史变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。(Inmon,1991)数据集市也可叫做“小数据仓库”。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。一、概念-2ODS与数据仓库共同点：面向主题的和集成的，需要进行转换、加工处理区别：主要体现数据的可变性和当前性上ODS数据仓库实时的、可动态刷新的非实时的、静态的当前运行系统的数据除了保存当前数据，还需要保存大量的历史数据明细数据保存明细和汇总数据一、概念-2数据仓库数据集市数据来源OLTP系统、外部数据数据仓库范围企业级部门级或工作组级主题企业主题部门或特殊的主题数据粒度最细的粒度较粗的粒度数据结构规范化结构（第3范式）星型模式、雪花模式、或两者混合历史数据大量的历史数据适度的历史数据优化处理海量数据、数据探索便于访问和分析、快速查询一、概念-3(3)ETLETL是数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。ETL主要解决各源数据的异构性和低质量(标准化、清除噪声数据)、计算和汇总指标数据。一、概念-4(4)数据加载策略更新(Upsert、delete/insert)拉链(时间拉链/自拉链,历史)追加(直接insert，防止重复加载先delete当天)当前、历史表、流水表一、概念-5(5)元数据元数据：是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库时用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和数据更新时用的规则；源数据到目标的数据映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。一、概念-5(5)元数据业务元数据从业务的角度描述了数据仓库中的数据。它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和的信息。元数据为访问数据仓库提供了一个信息目录（informationdirectory），这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。它是数据仓库运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户通过他来了解和访问数据。一、概念-6(6)数据粒度粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别（详细程度）。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。取决于：数据量大小、存储设备的容量、查询分析的需要一定的时间窗内存放细的粒度数据，超过一定的时期，只提供粗粒度的汇总数据，从而在性能与需求上达到一种平衡。一、概念-7(7)OLAP及其相关OLAP、维度、事实、度量值切片、切块、上钻、下钻、旋转星型模型、雪花模型二、数据仓库实施方法论-1(1)实施流程二、数据仓库实施方法论-2(2)信息调研源系统调研数据源分析数据质量分析数据缺口分析数据更新周期及更新方式分析用户需求分析二、数据仓库实施方法论-3(3)逻辑数据模型设计基于概念数据模型(CDM)由一系列表和实体详细描述组成通用的业务语言便于业务与业务之间的功能理解集成当前和未来数据的蓝图独立于技术为物理数据库设计作准备是IT人员和业务人员沟通的工具二、数据仓库实施方法论-3(3)逻辑数据模型设计了解业务流程分析源数据建立实体模型建立实体间依赖关系填写并完善实体属性二、数据仓库实施方法论-4(4)物理数据库设计转换逻辑模型为物理模型定义主索引、次索引非正则化处理数据库建立设计优化数据库功能测试二、数据仓库实施方法论-5(5)数据模型的演变概念数据模型(CDM)逻辑数据模型(LDM)扩展逻辑数据模型(ELDM)物理数据模型(PDM)三、LDM-1(1)逻辑模型在仓库中的地位提供一个统一的数据组织结构ODS主题例子-财务（Finance）财务（Finance）：主要包括的总帐信息，是描述科目组织、控制、内部核算等银行核心科目帐务以及预算管理有关的内容。该主题抽象地描述了内部帐务的组织模式，能够适应不同的科目组织体系。财务（Finance）：协议主要指的是订单和合同及相关的帐户四、个人学习经验(1)体系结构、SQL语法(2)结合逻辑模型看脚本源系统简称、代码各主题标识生成规则仓库代码源系统数据字典