联机分析处理

null 第四章 联机分析处理 第四章 联机分析处理第4章 联机分析处理第4章 联机分析处理4.1 联机分析的概念与特性 4.1.1 联机分析的概念 4.1.2 联机分析的特性 4.1.3 联机分析准则 4.2 多维OLAP和关系OLAP 4.2.1 MOLAP和ROLAP的概念 4.2.2 OLAP选择 4.2.3 OLAM null4.3 OLAP服务器及其工具评价 4.3.1 OLAP服务器和工具的评价标准 4.3.2 Oracle OLAP 工具 4.3.3 Informix 工具 4.3.4 MS SQL Server中的OLAP功能 4.1 联机分析的概念与特性4.1 联机分析的概念与特性OLAP一类软件技术，它可使企业数据分析人员、企业经理及企业其他管理人员通过对企业信息的多种可能的观察角度进行快速、一致和交互性的存取，以获得对信息的深入理解。nullOLAP技术有两个主要的特点：一是在线性（On-Line)，表现为对用户请求的快速响应和交互式操作，它的实现是由客户机/服务器体系结构完成的；而二是多维分析（Multi-Analysis)，这也是OLAP技术的核心所在。 4.1.1 联机分析的概念4.1.1 联机分析的概念1. OLAP的概念与操作 （1）OLAP的概念 A.变量。变量是数据的实际意义，它主要描述数据“是什么”。 B.维。维是人们观察数据的特定角度。 C.维的层次。人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，这时称这多个描述方面为维的层次。‘nullD.维成员。维的一个取值称为该维的一个维成员、如果一个维是多层次的，那么该维的维成员是由各个不同维层次的取值组合而成。 E.多维数组。一个多维数组可以表示为：维1，维2，…，维n，变量 F.数据单元（单元格）。多维数组的取值称为数据单元。 null（2）OLAP的基本操作 OLAP的基本操作是指对以多维形式组织起来的数据采取切片、切块、旋转等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据仓库中的数据，从而深入地了解包含在数据中的信息和内涵。 A.多维的切片。在多维分析过程中，如果对多维数据集的某个维选定一维成员，这种选择操作就称为切片（Slice)。null在切片的概念中，有以下两个重要的概念必须掌握： 多维数据集的切片数量多少是由所选定的那个维的维成员数量的多少所决定的。 进行切片操作的目的是使人们能够更好地了解多维数据集，通过切片的操作可以降低多维数据集的维度，可使人们将注意力集中在较少的维度下进行观察。 2. 维关系2. 维关系 （1）维的层次关系 在OLAP应用中，经常涉及对维的层次关系分析。 这种不同层次关系的出现完全取决于用户的分析应用需要以及对数据组织的详略要求。 有关维的层次信息需要存储在元数据中。 null（2）维的类关系 在OLAP的应用中，常常涉及对维成员的分类与归纳，即在查询中根据用户关于类别的要求对所有维成员进行分类，在分类的基础上归纳的共同特征或区别于其他类的特征。null在OLAP应用中，有的需要按照维的层次关系进行分析，有的需要按照维成员的类进行分析。这两种分析的操作是不同的。 4.1.2 联机分析的特性4.1.2 联机分析的特性1.OLAP特性 （1）快速性。用户对OLAP的快速反应能力有很高的要求。要求系统能在几秒钟内对用户的多数分析要求做出反应。 （2）可分析性。OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。尽管系统可以事先编程，但并不意味着系统定义了所有的应用。null（3）多维性。多维性是OLAP的关键属性。系统能够提供对数据分析的多维视图和分析，包括对层次维和多重层次维的支持。事实上，多维分析是分析企业数据最有效的，是OLAP的灵魂。null（4）信息性。不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。 （5）共享性。共享性是在大量用户间实现潜在地共享秘密数据所必须的安全需求。 2. OLAP与OLTP的比较2. OLAP与OLTP的比较 OLAP主要是关于如何理解聚集的大量不同的数据。它与OLTP应用程序不同，OLAP包含许多具有复杂关系的数据项。OLAP的目的就是分析这些数据，寻找模式、趋势以及例外情况。 联机分析处理是决策人员和高层管理人员对数据仓库进行信息分析处理。null联机分析处理是具有下面特征的联机事务： A.可以存取大量的数据。 B.要包含聚集的数据。 C.按层次对比不同时间周期的聚集数据。 D.以不同的方式来表现数据。 nullE.要包含数据元素之间的复杂计算。 F.能够快速地响应用户的查询，以便用户的分析思考过程不受系统影响。 nullOLTPOLAP数据库 原始操作数据库导出数据或数据仓库数据细节性数据综合性数据当前数据历史性数据经常性更新数据不可更新，但可周期性刷新数据一次性处理的数据量少一次性处理的数据量多对响应时间要求高响应时间合理用户量大用户量少面向操作人员、支持日常操作面向决策人员、支持管理需要面向应用、实物驱动面向分析、分析驱动表4-1 OLTP与OLAP对比表3. OLAP与数据仓库3. OLAP与数据仓库 在数据仓库中，OLAP和数据仓库是密不可分的，但是两者是不同的概念。 数据仓库是一个包含企业历史数据的大规模数据库，这些历史数据要用于对企业的经营决策提供分析和支持。 null数据准备区数据仓库OLAP服务器图4-2 数据仓库与OLAP关系业务处理系统第三层第二层第一层数据抽取数据加载多维化 处理数据清理、转换可视化处理客户端null从OLAP使用的效率角度考虑，在数据仓库是应该考虑如下因素： （1）尽可能使用星型架构，如果采用雪花结构，就要最小化事实表底层维度表以后的维度表数量。null（2）为用户设计包含事实表的维度表，这些维度表应该包含有意义的、用户希望了解的信息。 （3）度表的设计应该符合通常意义上的范式约束，维度表中不要出现无关的数据。 null（4）事实表中不要包含汇总数据，事实表中所包含的用户需要访问的数据应该具有必需的粒度，这些数据应该是同一层次的数据。 （5）对事实表和维度表中的关键字必须创建索引，同一种数据尽可能使用一个事实表。 （6）保证数据的参考完整性，是事实表中的所有数据都出现在所有的维度表中，避免事实表中的某些数据行在立方体进行聚集运算时没有参加过来。 4.1.3 联机分析准则4.1.3 联机分析准则OLAP是介于客户与数据仓库之间的数据分析处理系统，它需要对来自数据仓库的数据进行多维处理和分析，因此在系统的构造中常常采用三层客户/服务器结构。 这种三层客户/服务器的结构通常将数据仓库、OLAP服务器与客户端严格区分。 nullCodd提出了12条准则来OLAP系统，这12条准则是： （1）OLAP模型必须提供多维概念视图 （2）透明性准则 （3）存取能力推测 （4）稳定的报表能力 （5）客户机/服务器体系结构 （6）维的等同性原则 null（7）动态的稀疏矩阵处理原则 （8）多用户支持能力 （9）非受限的跨维操作 （10）直观的数据操纵 （11）灵活的报表生成 （12）不受限的维与聚集层次 4.2 多维OLAP和关系OLAP4.2 多维OLAP和关系OLAP多维OLAP和关系OLAP是OLAP的两种具体形式。其中多维OLAP（Multi-dimension OLAP,MOLAP)是基于多维数据库存储方式建立的OLAP；关系OLAP（Relation OLAP,ROLAP)是基于关系数据库存储方式建立的OLAP。4.2.1 MOLAP和ROLAP的概念4.2.1 MOLAP和ROLAP的概念1. OLAP服务器 20世纪90年代出现了专用的OLAP服务器软件，OLAP服务器包含了为企业用户预定义的超级立方体，从而能为具有明确的数据分析范围和分析要求的企业提供高性能的决策支持。DBIDBIOLAP 服务器客户端 软件客户端 软件OLAP数据库图4-3 OLAP服务器结构2.MOLAP2.MOLAP当由逻辑设计或信息模型驱动时，MOLAP设计和设置的基本步骤如下： （1）功能选择。 （2）指明数字信息。 （3）确定维以及每一维的粒度。 （4）定义逻辑模型并装载多维数据存储，这可以直接 从数据源中获得，也可以过滤并匹配数据仓库数据。 nullMOLAP可提供的主要功能包括： （1）对内涵查询的快速响应，只有快速响应才能保证分析和思考的过程。 （2）与多维数据库进行交互，使其支持预测、预先计划、进行预算等应用。 （3）挖掘各维元素或信息间丰富的联系，以发现其中微妙的关系。 （4）强大的计算引擎和比较分析。 null（5）交叉维计算，或对基于电子表格的应用按行计算。 （6）综合统计和财务功能。 （7）灵巧时，日期中的年、当前时刻、财务或内部的日历等。 （8）具有查询数据仓库中底层细节数据的能力。 （9）沿单维或多维处理的基准点、表格、细剖和统览以及其他强有力的导航功能。 nullMOLAP应用多维数据存储方式的管理员和系统管理员需要具有的能力包括： （1）选择恰当的模型和粒度来初始化模型，预测数据访问的方式；选择合适的过滤器来装载源于数据仓库的数据等。 （2）在数据装载过程中的聚集、概括和预计算能力。 （3）用专用语言书写新应用程序，以便扩充和增强多维数据库的标准前后端。 null应用多维数据存储方式时可能遇到的问有： （1）所支持的多维数据库的尺寸小于关系数据库的尺寸。这时可利用稀疏矩阵技术来节省空间，其副作用是增加了操作。 （2）按粒度的级别（概括的、聚集的、预计算和派生的数据）来存储数据会带来副作用（如细剖无法达到细节数据级）。 null（3）高层次级别的数据具有访问和安全性控制，但没有基于使用的权限和子集级的访问控制。 （4）维结构的改变需要重组多维数据库，常用的备份和恢复功能会受限。 （5）因需要特定的前后端会限制选择——但在扩充多维数据库的前后端后，又会导致它不能移植至另一多维数据库。 3.ROLAP3.ROLAP ROLAP是基于关系数据库的OLAP技术，它具有如下特征： （1）有很强的SQL生成器。 （2）对目标数据库和SQL进行优化。 （3）通过元数据指导查询。 （4）有区分客户、服务器及中间件的能力。nullROLAP开始的设计和设置是按技术数据库设计的方式来驱动的，它遵循以下基本步骤： （1）利用星型模式、雪花模式、混合模式等技术来构造维模型。 （2）添加适当的聚集和概括数据。 （3）把大的数据库分解成可管理的部分以提高效率。null（4）添加生成的索引或位模式索引来增强功能。 （5）生成并存储元数据。 null从运行角度来看，执行查询的步骤如下： （1）利用数据的应用视图或维视图来构造客户工具。 （2）从客户工具查询OLAP并实时检查元数据。 （3）创建多种SELECT语句和/或相关子查询，并把它们提交给关系数据库。null（4）在数据库查询结果上完成多维功能。 （5）将结果返回给客户工具以便进一步处理和显示， 或者立即进行显示。 null提供给用户和管理员的主要功能有： （1）关系数据的商业视图。 （2）维层次支持。 （3）计算、统计和财会功能，它们都可由用户扩充。 （4）细列细节层次。 （5）选择前、后端工具。 null（6）数据库管理员可以增强已有的备份和恢复功能，并可提供数据库的子集来进行个别地分析。 （7）利用元数据导航。 （8）具有使用权限的多级安全性控制。 null此方法需要如下管理和系统管理： （1）对OLAP服务器的非初始化装载或阶段性修改。 （2）使用已存在的标准来进行备份、恢复和安全性管理。 （3）设计维模型来提供数据的商业视图，这要求用户使用过星型模式、雪花模式和混合模式，并具有一定经验；还需要具有数据分解、聚集和概括分级等功能。 null（4）在全局数据仓库范围内管理、协调和维护所有新产生的元数据。 （5）控制器用来协调性能，性能的协调可能影响到数据库模型、数据分解或聚集及概括的级别。 4.2.2 OLAP选择评价4.2.2 OLAP选择评价1.对MOLAP和ROLAP的比较 为了衡量这两种模式的特点，通常需要对MOLAP与ROLAP进行比较。如下几点： （1）查询性能 （2）数据加载性能 （3）分析能力 （4）数据集市的大小 （5）维的管理 （6）维护能力 2. OLAP的衡量标准2. OLAP的衡量标准（1）解释性批处理提取 （2）OLAP分析模型 （3）提取丢失值 （4）弹性报告 （5）一致性能报告 （6）对物理层的自动调整 （7）通用维 4.2.3 OLAM4.2.3 OLAM1.体系结构 根据多维数据实际存在形式的不同，有以下两种组织方式。 （1）基于多维数据库方式 在这种方式下，来自各关系数据库的综合数据以实际的多维形式被存储在多维数据库（MDDB）中。 （2）基于关系型数据库方式 在这种情况下，多维数据视图在程序执行时由RDBMS翻译执行相应SQL语句实现。 nullOLAM以应用程序服务器的形式安装于网络，浏览器端的用户访问应用程序服务器的方式如下： （1）通过WWW服务器传递应用信息。 （2）客户端应用直接与OLAM通信，而不经过Web服务器。 nullWWW服务器是实现OLAM功能的中枢，也是Web数据库技术的传统做法、一个典型的WWW上的数据库多维分析和挖掘应用的执行流程大概可以分成如下几个步骤： （1）浏览器端用户通过HTML文件中的表单提出数据分析挖掘请求，并传递给WWW服务器。 null（2）在WWW服务器端调用相应的应用程序，如CGI、ISAPI或NSAPI等，并根据需要激活OLAM服务程序。 （3）OLAM服务器引擎将立方体操作译为SQL请求，并交给DBMS（DWMS）执行。 （4）WWW服务器将结果反馈给用户。 null针对OLAM的发展驱动力和基本结构，以下几点是必要的。 （1）OLAM建立在多维数据库和OLAP的基础之上，因此应能方便地对任何一部分数据或不同抽象级别的数据进行挖掘。 （2）用户对挖掘算法具有动态选择的权限。 （3）OLAM建立在多维数据视觉图的基础之上，因此基于超立方体的挖掘算法是其核心所在。3. OLAM领域的主要发展方向3. OLAM领域的主要发展方向 （1）基于Web的OLAM的前端展示工具，即浏览器虽然具有界面统一且易于操作等特点，但仅仅限于提供交互式操作，很难构造复杂应用。 （2）系统执行效率和响应速度是用户最为关心的问题，也是基于Web的OLAM 在实际中遇到的最大挑战。 4.3 OLAP服务器及其工具评价4.3 OLAP服务器及其工具评价 目前，市场上所提供的OLAP工具很多，为了能在OLAP的设计应用中选择适当的产品，必须从OLAP所具有的功能、访问性能、引擎功能和管理能力等方面对OLAP工具进行评价。4.3.1 OLAP服务器和工具的评价标准4.3.1 OLAP服务器和工具的评价标准一般地说，OLAP服务器和工具的评价标准具体包括如下方面。 （1）OLAP功能。OLAP作为一种数据分析技术，主要通过对现有的数据进行计算、转换产生新的信息，并显示给用户。这就要求OLAP能够完成这样一些功能：支持多维数据集中的维与层次，能沿某个维或一组维进行数据的聚集、汇总、预计计算和派生；能对某个维或一组维提供计算逻辑、公式和分析例程进行某种形式的操作；能够实现从一个维到另一个维的转换；能进行交叉维的计算，如在不同为之间进行成本分配，null或在电子表格中按照不同维进行损益表的计算；能提供强大的分析模型，包括对选中维及维的元素的逻辑、公式、分析例程、聚集数据汇总数据和派生数据等，如在给定财务数据上计算内部回报率的财务模型；能够提供大量的函数，如财务、统计、代数、市场等各种函数；能够提供强大的计算和逻辑比较能力，如对数据的分级、比较、归类、百分比、极值、均值等；具有智能化的与时间相关的处理，如按照给定时间段的日历安排；能够提供强大的导航分析，可以沿单个或多个维的轴、交叉表进行浏览或钻取。 null（2）访问性能 作为由广大管理人员组成的OLAP用户，在使用OLAP时希望得到多种访问数据工具的选择，能够将广大用户所熟悉的访问工具融合进OLAP。这些选择可能包含： A.电子表格，作为常用的电子表格Excel已经被相当多的用户所认可，因此，在OLAP中至少应该提供将数据加载电子表格的功能，以满足用户将从OLAP所获取的数据移作他用。 nullB.在OLAP中有一些经常性用户，他们往往需要进行一些特定的应用，如果能够向这些用户提供功能丰富的、满足他们特定要求的、私有客户工具，无疑将增强OLAP的功能。nullC.能否与第三方工具结合，主要是指能否通过API将用户比较熟悉或功能更加强大的第三方工具加入OLAP，以完成用户的需求。 D.能否提供一些“非事实标准”接口，如，VB, Pb, VC等应用环境，或OLE，DDE，CORBA等接口，也是衡量OLAP工具访问性能的一个评价标准。 null（3）引擎功能 OLAP的服务引擎都应满足分析模型及应用在功能、规模和技术特征上的要求。这些要求主要集中在如下方面：能否满足进行交互式预测和预算的应用程序的读写功能；能否满足在工作组情况下所进行的多用户读写操作，尤其是写操作往往导致重新计算派生的和经过计算所得到的信息，这些信息可能影响多个维及维的层次，使写锁的作用范围远超过初次的写范围，导null致系统性能的下降；能否满足多数据库间的交互机制，因为在一个OLAP应用程序虽然有一个数据库，往往出现多数据库之间的交互机制，因为在一个数据库中所产生的数据可能进入其他数据库；能否满足OLAP应用程序对数据范围的要求；在OLAP的用户界面中，可能需要数字、时间、日历、描述、BLOB等，这样才能显示更多的图像类型，增加动态显示和执行报表的功能，有利于复杂分析的表达。 null（4）管理能力 OLAP并不像一般的业务操作系统，用户对其提出了强大的处理功能与便捷的使用要求，这必然要求OLAP能够提供有力的管理工具。这些管理工具应该具有这样一些功能：null可以定义维的分析模型；能够生成并维护元数据存储；具有访问和使用控制的权限，主要解决如何控制用户对模型和数据的访问问题；从数据仓库或数据集市加载分析模型的管理问题；协调用户多维数据的访问级别，保证用户进行不受其他用户干扰的分析；能为增强数据库的性能，或者为修改维模型，或者为修改数据而重新组织数据库；可将数据传送给客户，以便进一步分析或做本地分析。 null（5）全局结构视图 从全局结构上看，对于OLAP是采用关系的还是多维数据存储不能简单地作出选择，各种应用需求才是判断所做决策是否正确的标准。 4.3.4 MS SQL Server中的OLAP功能4.3.4 MS SQL Server中的OLAP功能MS SQL Server也为其用户提供了OLAP功能。 MS SQL Server的OLAP服务要以实现快速的数据仓库访问。从数据仓库提取的数据可以得到迅速的归总、组织以及转储，然后发送给最终用户。 OLAP的服务器端主要实现数据立方体的创建和管理，具体地讲它主要负责以下一些工作： null（1）从关系数据库中提取数据，创建和处理数据立方体。 （2）以一种合适的存储模式存储数据立方体的数据。 （3）根据关系数据库或者OLAP数据立方体来创建数据挖掘模型。 （4）存储数据挖掘模型提供的数据。 nullMMCOLAP添加件管理器OLAP管理器对象模型（决策支持对象OLAP服务器Pivot Table服务定制的添加件定制程序立方体客户端磁盘存储关系数据库元数据元数据ROLAPROLAP dataHOLAPMOLAP多维数据图4-10 服务器端的体系示意图null 服务器段和数据立方体有关的元数据、数据挖掘模型和其他的数据库模型都保存在元数据服务的关系数据库中。 PivotTable服务用于和OLAP服务器进行通信并提供了一个客户端可以访问的接口，所有的应用程序都必须通过PivotTable服务才能访问OLAP服务器和数据挖掘所得到的数据。 nullOLEDB 数据源立方体文件Pivot Table 服务OLAP服务客户程序OLEDB2.0扩展的 OLAP#0ADO2.0扩展的 OLAP#0客户程序没有和服务器/数据源 建立连接时的选项没有和服务器建立 连接时的选项 源数据ROLAPMOLAP多维数据图4-11 PivotTable服务器的体系图Oracle 与MS SQL Server应用特点的比较Oracle 与MS SQL Server应用特点的比较1.体系结构和特点 Oracle Enterprise Manager工具和SQL Server Enterprise Manager工具的相同点在于两者都是集成化的环境，可以通过该环境启动其他工具和执行系统操作。但是，两者又有显著差别。 null2.应用工具方面 在Oracle系统中，SQL语言又被称为PL/SQL语言。但在Microsoft SQL Server 中，SQL语言又被称为Transact-SQL语言。nullOracle的 SQL Plus Worksheet 工具与Microsoft SQL Server的SQL Query Analyzer工具相比，两者既有相同点，又有不同点。相同点是两种工具都可以执行各种SQL语句，并且可以在该工具中有选择地执行某条SQL语句，且SQL语句的执行结果都显示在该工具主窗口的下半部分中。但是，两种工具又存在一些差别。 null3.管理数据库方面 4.安全管理方面 5.管理表和索引方面 6.视图管理方面 7.SQL语句方面 8.排序方面 null9.提供函数方面 10.连接方面 11.合计分组 12.子查询方面 13.系统环境设置 14.数据操纵方面 小结小结4.1 联机分析的概念与特性 4.2 多维OLAP和关系OLAP 4.3 OLAP服务器及其工具评价