MapReduce研究现状

null暨南大学并行计算实验室MapReduce研究现状 暨南大学并行计算实验室MapReduce研究现状 专 业：计算机软件与理论 姓 名：周敏 丁光华 指导教师：周继鹏 教授摘要摘要MapReduce研究 调试、监控等 优化、扩展等 常用API Hadoop改造 数据挖掘项目Redpoll Canopy, k-means Naive bayes, SVM调试调试输出,标准出错 Web显示(50030, 50060, 50070) NameNode,JobTracker, DataNode, TaskTracker日志 本地重现: Local Runner DistributedCache中放入调试代码 ProfilingProfiling 目的：查性能瓶颈，内存泄漏，线程死锁等 工具： jmap, jstat, hprof,jconsole, jprofiler mat,jstack 对JobTracker的Profile 对各slave节点TaskTracker的Profile 对各slave节点某Child进程的Profile(可能存在单点执行速度过慢) 监控监控目的：监控集群或单个节点I/O, 内存及CPU 工具： Ganglia 调优点(1)调优点(1)I/O io.sort.mb io.sort.percent io.sort.record.percent io.sort.spill.percent Shuffle tasktracker.http.threads mapred.reduce.parallel.copies mapred.job.shuffle.input.buffer.percent …调优点(2)调优点(2)数据压缩 推测性执行(同时执行同一Task,杀死运行慢的) 同一节点的Child重用jvm 重写Partitioner,使分布到各Reducer的数据均匀 设置堆空间大小常用API常用APIMapper, Reducer Writable, ComparableWritable InputFormat, OutputFormat Partitioner Comparator DistributedCache Streaming(bash/python) Hadoop改造Hadoop改造JobTracker与作业调度耦合性太强 JobHistory应独立为一个jvm进程,逻辑不应与JobTracker耦合太强 在HDFS之上整合MPI,统一作业调度 Shuffle过程只需一次I/O 单块磁盘失效导致整个节点失效问题(改DFSClient) Hadoop改造Hadoop改造文件系统兼容posix 使Map的key输出不排序,只分区 NameNode单点故障问题 RPC支持大数据(如文件)传输 集群资源分配 权限管理 大规模数据挖掘:Redpoll大规模数据挖掘:Redpoll文本数据挖掘 分布式分词 分布式向量空间模型 距离度量 语料 搜狗新闻 20 news group wikipedia 朴素贝叶斯分类前提：假定一个属性值对分类的影响独立于其他属性的值。（类条件独立） 朴素贝叶斯分类工作过程 每个数据样本用一个n维特征向量 表示，分别描述对n个属性 样本的n个度量 假设有m个类 。给定一个未知的数据样本X，分类法将预测具有最高后验概率（条件X下）的类。即是找最大化的 。根据贝叶斯定理有 朴素贝叶斯分类朴素贝叶斯分类(续)P(X)对所有类为常数，最大化 ，对 的考虑分析：等概率，或 类条件独立的朴素假定： ， （k = 1，2，n）可以由训练样本估值 是分类属性，则根据样本估值 是连续值属性，则通常假定其服从高斯分布，因而 朴素贝叶斯分类(续)CanopyCanopy大容量,高维数据集聚类 使用两步聚类 不同的距离度量 节省计算时间 适用范围较广 K-means EM GAC 大规模支持向量机大规模支持向量机解的稀疏性及问题的凸性 将大规模的原问题分解成小规模的子问题,迭代求解子问题,直到收敛至原问题的解. 选块算法 分解算法 序列最小最优化法(sequential minimal optimization, SMO) 并行实现 并行实现Thinking in MapReduceThinking in MapReduceBADAACBCBCDGroupCo-groupFunctionStream Flow FilterFilterAggregate null谢谢!