第4章 大数据分析

第4章大数据分析提纲4.1大数据分析概述4.2大数据分析模型4.3大数据分析算法4.4大数据分析应用4.5大数据分析常用工具我们已经知道大数据不是简简单单的数据大，越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，一方面大数据的价值巨大，另一方面大数据的价值被海量数据所掩盖，不易获取，这就使得大数据的分析在大数据领域就显得尤为重要，只有通过分析才能获取很多智能的，深入的，有价值的信息。所以大数据的分析方法，可以说是决定最终信息是否有价值的决定性因素。第4章引言4.1大数据分析概述三条原则：数据分析是为了检验假设的问，需要提供必要的数据验证，在数据分析中，分析模型构建完成后，需要利用测试数据验证模型的准确性；数据分析是为了挖掘更多的问题，并找到深层次的原因。比如分析产品销售情况的数据，需要找到销售数据会变动，如促销、节日、卖场宣传、卖场环境、消费心理、价格、对手等。总结分析其原因，针对可能的原因实施措施及再追踪分析。不能不明确问题，为了数据分析而去做数据分析。没有明确的问题或者目标，直接去做数据分析往往得不到好的结果。而且问题不同，分析思路和分析方法会有很大的不同。4.1.1数据分析的原则4.1.2大数据分析特点1）大数据分析应是可视化分析2）大数据分析的理论核心是数据挖掘算法3）大数据分析最重要的应用领域之一就是预测性分析4）大数据分析广泛应用于网络数据挖掘5）大数据分析离不开数据质量和数据管理1）发现和问题定义此阶段需要学习业务领域的相关知识，重点在于将业务问题转化为分析挑战，以待后续阶段完成。2）识别和设计数据需求识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。3）收集和预处理数据有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。4）分析数据及建立模型分析数据是将收集的数据通过加工、整理和分析、使其转化为信息。4.1.3大数据分析路线及流程5）沟通结果及过程改进数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性：（1）提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题；（2）信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析；（3）收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通；（4）数据分析方法是否合理，是否将风险控制在可接受的范围；（5）数据分析所需资源是否得到保障。4.1.3大数据分析路线及流程4.1.4大数据分析的技术1）数据采集大数据的采集是指利用多个数据库来接收发自客户端（Web、APP或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。2）数据管理对大数据进行有效管理是进行大数据分析的基础，使得大数据“存得下，查得出”，并为大数据的高效分析提供您基本的数据操作（比如JOIN和聚集操作等）。4.1.4大数据分析的技术3）基础架构从底层来看，实现大数据分析还需要高性能的计算框架和存储系统，例如用于分布式计算的MapReduce计算框架、Spark计算框架、用于大规模数据协调工作的分布式文件存储HDFS等。4）数据理解和提取在结构方面，很多时候对大数据分析时处理的数据并非传统的结构化数据，也包括多模态的半结构化和非结构化数据；在语义方面，大数据的语义也有着多样性，同一含义有着多样的表达，同样的表达在不同的语境下有不同的含义。要对具有多样性的大数据进行有效分析，需要对数据进行深入的理解，并从结构多样、语义多样的数据中提取出可以直接进行分析的数据。5）统计分析统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行研究。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，在前几个阶段工作的基础上通过分析达到对研究对象更为深刻的认识。它又是在一定的选题下，针对分析的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。统计分析技术包括描述性统计分析、回归分析、因子分析和方差分析等。4.1.4大数据分析的技术6）数据挖掘数据挖掘是指从大量数据中通过算法搜索隐含于其中的信息的过程，包括分类（Classification）、预测（Prediction）、相关性分组和关联规则（AffinityGroupingorAssociationRule）、聚类（Clustering）、描述和可视化（DescriptionandVisualization）、复杂数据类型（Text、Web、图形图像、视频、音频等）挖掘等。7）数据可视化数据可视化是关于数据视觉表现形式的科学技术研究。对于大数据而言，由于其规模、高速和多样性，用户通过直接浏览来了解数据，因而将数据进行可视化，将其表示成为人能够直接读取的形式，显得非常重要。4.1.4大数据分析的技术4.1.5大数据分析难点1）可扩展性分析算法能够支持大规模数据，在大规模数据上能够在应用所要求的时间约束内得到结果。2）可用性一方面需要结果具有高质量，如结果完整、符合现实的语义约束等；另一方面需要结果形式适用于实际的应用。3）领域知识的结合大数据分析通常和具体领域密切结合，因而大数据分析的过程很自然地需要和领域知识相结合，这为大数据分析方法的设计带来了挑战。4）结果的检验大数据分析结果需要经过一定检验才可以真正应用。4.2大数据分析模型4.2.1大数据分析模型建立方法大数据分析模型可以基于传统数据分析方法中的建模方法建立，也可以采用面向大数据的独特方法来建立，我们分别称之为传统建模方法和大数据建模方法。需要指出的是，无论哪种方法都需要明确业务需求问题，根据分析的目标和所拥有的数据资源选择建模的方法论，从而解决问题。4.2.1大数据分析模型建立方法广义建模框架1）业务调研2）准备数据3）浏览数据4）变量选择5）定义（发现）模型的模式6）计算模型参数7）分析模型的解释和评估4.2.2分类分析模型根据判别中的分组，可以分为二分类和多分类。根据分类的策略，可以分为判别分析和机器学习分类。1.判别分析判别分析是多元统计分析中用于判别样品所属类型的一种统计方法，根据判别中的组数可以分为两组判别分析和多组判别分析；根据判别的形式，可以分为线性判别和非线性判别；根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等；根据判别的不同，可以分为距离判别、Fisher判别、贝叶斯判别等。4.2.2分类分析模型2.机器学习分类机器学习专门研究计算机怎么模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习中的分类通常依据利用训练样例训练模型，依据此模型可以对类别未知的数据进行判断。分类是机器学习中的重要任务之一，主要的方法包括决策树、SVM、神经网络、逻辑回归等。机器学习训练得到的模型可能不是一个明确表示的判别函数，而是具有复杂结构的判别方法，如树结构（如决策树）或者图结构（如神经网络）等。4.2.3关联分析模型关联分析用于描述多个变量之间的关联。如果两个或多个变量之间存在一定的关联，那么其中一个变量的状态就能够通过其他变量进行预测。关联分析的输入是数据集合，输出是数据集合中全部或者部分元素之间的关联关系。例如，房屋的位置和房间之间的关联关系或者气温与空调销量之间的关系。回归分析关联规则分析相关分析4.2.4聚类分析模型聚类分析是一种经常用于数据探索分析的方法。聚类不做预测。相反，聚类方法根据对象属性来查找对象之间的相似性（即在性质上的亲疏程度），并对相似的对象进行聚类形成簇。聚类形成的簇是一组对象的集合，同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类分析是典型的无监督（Unsupervised）分析方法，也就是没有关于样本或变量的分类标签，分类需要按照样本或者变量的亲疏程度进行。4.2.4聚类分析模型聚类分析是一种经常用于数据探索分析的方法。聚类不做预测。相反，聚类方法根据对象属性来查找对象之间的相似性（即在性质上的亲疏程度），并对相似的对象进行聚类形成簇。聚类形成的簇是一组对象的集合，同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类分析是典型的无监督（Unsupervised）分析方法，也就是没有关于样本或变量的分类标签，分类需要按照样本或者变量的亲疏程度进行。4.3大数据分析算法大数据分析算法从功能上分为聚类算法、回归算法、关联规则挖掘算法、分类算法、聚类算法等。这些算法在工程中有着很实际的应用，是大数据分析过程中强有力的工具。合理地选择算法能在保证效率的同时得到好的分析结果，更好地分析出数据中包含的知识。4.3.1大数据算法概述1.分类1）实时分析算法。这类分析算法使用实时获取的数据，响应时间约束为秒级甚至毫秒级。2）弱实时分析算法。这类分析算法面向有用户参与分析决策的分析任务，不要求实时响应，但也存在响应时间约束，响应时间从分钟到小时。3）非实时分析算法。这类分析算法使用数据仓库中的大规模数据，响应时间约束相对宽松，可以达到天甚至月。2.设计技术1）随机算法。随机算法是使用的随机函数的算法，且随机函数的返回值直接或者间接地影响的算法的执行流程和执行结果。利用随机算法可以用少部分数据的分析结果实现对整体数据分析结果的估计。在大数据分析过程中，随机算法多用于实时分析。2）外存算法。外存内存算法指的是在算法执行过程中用到外存的算法。在很多情况下，由于内存的限制。大数据必须存储在外存中，因而对于大数据的分析一定是外存算法。4.3.1大数据算法概述2.设计技术3）并行算法。并行算法就是用多台处理机联合求解问题的算法。针对规模巨大的大数据，自然可以利用多台处理机联合处理，这就是面向大数据的并行算法。如前面介绍的MapReduce算法就是比较典型的数据密集型并行算法。4）Anytime算法。Anytime算法在有的文献中也被称为“任意时间算法”，该算法针对输入数据、时间与其他资源的要求，给出各种性能的输出结果。通过分析给定的输入类型、给定的时间以及数据输出结果的质量，可以得到具有一定预计性的算法模型。4.3.1大数据算法概述2.设计技术3）并行算法。并行算法就是用多台处理机联合求解问题的算法。针对规模巨大的大数据，自然可以利用多台处理机联合处理，这就是面向大数据的并行算法。如前面介绍的MapReduce算法就是比较典型的数据密集型并行算法。4）Anytime算法。Anytime算法在有的文献中也被称为“任意时间算法”，该算法针对输入数据、时间与其他资源的要求，给出各种性能的输出结果。通过分析给定的输入类型、给定的时间以及数据输出结果的质量，可以得到具有一定预计性的算法模型。4.3.1大数据算法概述4.3.2决策树算法简介决策树是一种采用树状结构的有监督分类或回归算法。决策树是一个预测模型，表示对象特征和对象值之间的一种映射。其不需要学习者有多少相关领域知识，是一种非常直观易于理解的算法。决策树的每个非叶子节点存储的是用于分类的特征，其分支代表这个特征在某个值上的输出，而每个叶子节点存储的就是最终的类别信息。简而言之，利用决策树进行预测的过程就是从根节点开始，根据样本的特征属性选择不同的分支，直到到达叶子结点，得出预测结果的过程。决策树优点：1）.决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。4.3.2决策树算法简介构造决策树构造决策树就是根据现有样本数据生成一个树结构，样本数据特征均为离散的，设样本数据如表所示。4.3.2决策树算法简介ID拥有房产是否已婚年收入>80K?有能力偿还债务1是否是是2否是是否3否否否否4是是是是5否否是是6否是否否7是否是是8否否是是9否是否否10否否是是构造决策树4.3.2决策树算法简介1）第一步，确定一个分裂属性（即以样本数据的哪个特征进行划分）。此处确定最优划分特征的方法是整个决策树的关键部分。最优划分特征的选择基于一个目标：使得分裂后各个节点数据的“纯度”最高，即尽量使得通过该特征进行分类后的分支节点所包含的样本属于同一类别。选择一个合适的特征作为判断节点，可以快速的分类，减少决策树的深度。2）第二步，观察划分的各个分支，如果分支中样本数据均属于同一类别，则该分支应为叶节点，无需再进行计算；如果分支中样本所有特征都相同，无法再继续分解下去，那么当前分支就为叶节点，类别标记为当前分支中样本数最多的一种（多数表决）；如果以上均不符合，应针对每一组样本数据重复第一步的过程，将分支继续递归分解下去，直至每个分支的样本数据都具有相同的类别。4.3.2决策树算法简介剪枝处理剪枝操作是为了对付决策树学习算法中“过拟合”的情况，由于决策树算法会不断的重复特征的划分过程，或者由于噪声数据的存在，有时候会使得决策树分支过多，造成过拟合的情况，即对训练数据的分类很准确，但是对未知的测试数据的分类确没那么准确。这种情况下可以采用主动去掉分支的方法来降低过拟合的风险。一般存在“预剪枝”和“后剪枝”两种策略。4.3.2决策树算法简介3.剪枝处理预剪枝即为在决策树生成过程中，对当前节点的划分结果进行评价，如果该划分不能带来决策树泛化能力（即处理未见过示例的能力）的提升，则停止划分，将当前结点标记为叶节点；后剪枝则是先生成一棵完整的决策树，然后自底向上的对非叶节点进行评价，如果剪掉该枝可以使得泛化性能提升，则将该子树替换为叶节点。预先剪枝可能过早的终止决策树的生长，后剪枝一般能够产生更好的效果。但后剪枝在子树被剪掉后，决策树生长的一部分计算就被浪费了。决策树算法的优缺点算法优点决策树的结果易于表达和理解；数据的预处理比较简单，能够同时处理多种数据类型；对缺失值不敏感，可以处理不相关特征数据；算法效率较高，只需要一次构建，可反复使用，每一次预测的最大计算次数不超过决策树的深度。算法缺点对连续性的字段比较难预测；对有时间顺序的数据，需要很多预处理的工作；结果不稳定，当类别比较多时，分类错误会增加；不能根据多个字段进行分类，处理特征关联性比较强的数据时表现不理想。很可能在某些类占主导地位时创建有有偏异的树，因此建议用平衡的数据训练决策树。4.3.2决策树算法简介Apriori算法是关联分析中的基本算法，由RakeshAgrawal在1994年提出。它的核心思想分两步，一是使用候选项集找频繁项集，二是由频繁项集产生关联规则。什么是规则？规则形如“如果…那么…(If…Then…)”，前者为条件，后者为结果。例如一个顾客，如果买了可乐，那么他也会购买果汁。如何来度量一个规则是否够好？采用置信度(Confidence)和支持度(Support)。4.3.3Apriori算法简介4.3.3Apriori算法简介算法步骤算法分两步产生规则。第一步是找出频繁集(FrequentItemsets)。所谓频繁集指满足最小支持度的集合。第二步是从频繁集中找出强规则(StrongRules)。强规则指既满足最小支持度又满足最小置信度的规则。4.3.3Apriori算法简介4.3.3Apriori算法简介4.3.3Apriori算法简介Apriori算法的不足1）在每一步产生侯选项目集时循环产生的组合过多，没有排除不应该参与组合的元素；2）每次计算项集的支持度时，都对数据库中的全部记录进行了一遍扫描比较，I/O负载很大。针对上述缺点，提出了许多改进的方法。如FPTree算法在不生成候选项的情况下,完成Apriori算法的功能；在Apriori裁剪规则基础上引进哈希表裁剪规则，使候选项集裁剪量增多的DHP算法等。4.3.3Apriori算法简介K-Means算法是一种聚类分析算法，属于无监督学习。其中K表示类别数，Means表示均值。顾名思义K-Means是一种通过均值对数据点进行聚类的算法。它通过预先设定的K值及每个类别的初始质心对相似的数据点进行划分，并通过划分后的均值迭代优化获得最优的聚类结果。4.3.4K-means算法简介4.3.4K-means算法简介算法的优点a)算法快速、简单；b)对大数据集有较高的效率并且是可伸缩性的；c)时间复杂度近于线性，而且适合挖掘大规模数据集。K-Means聚类算法的时间复杂度是O(nkt)，其中n代表数据集中对象的数量，t代表着算法迭代的次数，k代表着簇的数目。4.3.4K-means算法简介算法的缺点a)K值需要事先给定。但在实际应用组织总K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适；b)初始种子点随机设定不同的随机种子点会有得到完全不同的结果；c）对噪声点敏感，且可能产生空聚簇，特别是当k比较大的时候。4.3.4K-means算法简介在大数据时代，信息呈爆炸式增长，对人们的生产生活都产生了深远的影响。大数据改变了人们的思维模式，刷新了对数据分析的认识，由过去的“向后分析”变成了“向前分析”。4.4大数据分析应用文本分析（TextAnalysis）是文本挖掘、信息检索的一个基本问题，通过文本的表示及其特征项的选取和量化来表示文本信息。文本（text）与讯息（message）的意义大致相同，指的是有一定的符号或符码组成的信息结构体，这种结构体可采用不同的表现形态，如语言的、文字的、影像的等等。文本是由特定的人制作的，文本的语义不可避免地会反映人的特定立场、观点、价值和利益。因此，由文本分析可以推断文本提供者的意图和目的。4.4.1文本分析文本分析主要由文本表示，主题抽取和文本挖掘三步组成。a）文本表示主要是为了将非格式化、半结构化的文本数据处理成结构化的数据以方便以后的分析。非结构化的数据主要有文本，半结构化的数据有日志，网页，xml和json格式文件等；b）主题抽取主要是指对结构化的数据识别关键字，主题以及相关性等；c）文本挖掘主要是根据识别出的关键字、主题等找出其中我们感兴趣的内容，并展示出来。4.4.1文本分析文本表示TF-IDF（TermFrequency–InverseDocumentFrequency）通过统计方法来评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度的有效方法，可以帮助完成特征抽取。它的思想是统计字词出现的个数，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF表示词条在文档d中出现的频率。4.4.1文本分析主题模型4.4.1文本分析情感分析（Sentimentanalysis）又称倾向性分析、意见抽取（OpinionExtraction）、意见挖掘（OpinionMining）、情感挖掘（SentimentMining）、主观分析（SubjectivityAnalysis），主要是指对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。如从评本中分析用户对“数码相机”的“变焦、价格、大小、重量、闪光、易用性”等属性的情感倾向。可认为是主体对某一客体主观存在的内心喜恶，内在评价的一种倾向。它由两个方面来衡量：一个情感倾向方向，一个是情感倾向度。4.4.2情感分析情感分析方法目前，情感分析的方法主要有两种：一种是基于情感词典的方法，需要用到标注好的情感词典，英文的词典有很多，中文主要有知网整理的情感词典Hownet和台湾大学整理发布的NTUSD两个情感词典，还有哈工大信息检索研究室开源的《同义词词林》可以用于情感词典的扩充。一种是基于机器学习的方法，如基于大规模语料库的机器学习。需要大量的人工标注的语料作为训练集，通过提取文本特征，构建分类器来实现情感的分类。4.4.2情感分析从计算的角度，推荐系统的基本输入是用户集X和项目集S，其中项目集是待推荐商品的集合，可以是商品、音乐、用户、文章等。其基本输出式是效用函数：其中R是评分集，它是一个完全有序集推荐系统需要解决的问题包括如何收集已知评分形成R矩阵、如何收集效用矩阵中的数据、根据已知的评分推断未知的评分、如何评估推断方法、如何衡量推荐方法的性能等。4.4.3推荐系统推荐系统实现方法：1）基于内容的推荐基于内容的推荐（Content-basedRecommendation）是信息过滤技术的延伸与发展，它是建立在项目的内容信息上的推荐，而不需要依据用户对项目的评价意见，更多地需要用机器学习的方法，从关于内容的特征描述的事例中得到用户的兴趣资料。在基于内容的推荐系统中，项目或对象通过相关的特征的属性来定义，系统基于用户评价对象的特征，学习用户的兴趣，考察用户资料与待预测项目的相匹配程度。用户的资料模型取决于所用的学习方法，常用的有决策树、神经网络和基于向量的表示方法等。推荐使用的用户资料需要有用户的历史数据，用户资料模型也可能随着用户的偏好改变而发生变化。4.4.3推荐系统推荐系统实现方法：2）协同过滤推荐（CollaborationFilteringRecommendation）是推荐系统中应用最早和最为成功的技术之一。它一般采用最近邻技术，利用用户的历史喜好信息计算用户之间的距离，然后利用目标用户的最近邻居对商品评价的加权评价值来预测目标用户对特定商品的喜好程度，从而根据这一喜好程度来对目标用户进行推荐。协同过滤推荐的最大优点是对推荐对象没有特殊的要求，能处理非结构化的复杂对象，如音乐、电影。基于协同过滤的推荐系统可以说是从用户的角度来进行相应推荐的，而且是自动的，即用户获得的推荐是系统从购买模式或浏览行为等隐式获得的，不需要用户努力地找到适合自己兴趣的推荐信息，如填写一些调查表格等。4.4.3推荐系统推荐系统实现方法：3）基于关联规则的推荐基于关联规则的推荐（AssociationRule-BasedRecommendation）是以关联规则为基础，将已购商品作为规则头，将推荐对象作为规则体。关联规则挖掘可以发现不同商品在销售过程中的相关性，在零售业中已经得到了成功应用。管理规则就是在一个交易数据库中统计购买了商品X的交易中，有多大比例的交易同时购买了商品Y，其直观的意义就是用户在购买某些商品的同时有多大倾向去购买另外一些商品。这种方法第一步，也就是关联规则的发现最为关键且最耗时，是该方法的瓶颈，但它可以离线进行。此外，商品名称的同一性问题是关联规则推荐的另一个难点。4.4.3推荐系统推荐系统实现方法：4）基于效用的推荐基于效用的推荐（Utility-basedRecommendation）建立在对用户使用项目的效用情况上。其核心问题是如何为每一个用户去创建一个效用函数。因此用户资料模型很大程度上是由系统所采用的效用函数决定的。基于效用的推荐的好处是它能把非产品的属性，如提供商的可靠性和产品的可得性等考虑到效用计算中。4.4.3推荐系统4.4.3推荐系统推荐系统实现方法：5）基于知识的推荐（Knowledge-basedRecommendation）在某种程度上可以看作一种推理技术。它不是建立在用户需要和偏好基础上的。基于知识的推荐因它们所用的功能知识的不同而有明显区别。效用知识是一种关于一个项目如何满足某一特定用户的知识，因此能解释需要和推荐的关系，所以用户资料可以是任何能支持推理的知识结构，它可以是用户已经规范化的查询，也可以是一个更详细的用户需要的表示。4.5大数据分析常用工具ExeclSPSSSASMatlabRPython习题什么是大数据分析，它与传统的数据分析相比有什么不同？请简述大数据分析的流程。大数据分析涉及到哪些技术？它的难点是什么？请简述不少于3种的大数据分析的建模方法。请说明大数据算法Apriori的主要思想？说明决策树属于什么学习方法，描述它的主要步骤。说明聚类中距离和相似度怎么计算。描述K-means算法的主要思想？请上网收集资料，列举说明你生活中涉及到的大数据分析的应用案例。 谢谢！感谢谢谢，精品课件资料搜集