基于任务备份的云计算任务调度算法研究

基于任务备份的云计算任务调度算法研究 、基于任务 备份的 云计算任务 调度算 法 研究 重庆大学硕士学位论文 学术学位学生姓名 : 廖福 蓉 指导教师 :王成 良 教 授 专 业 :计算 机软件 与理论 学科门类 :工 学 重庆大学 计算机 学院 二 O 一 三 年五 月 、 Research on Task Scheduling Algorithm Based on Task Backup for Cloud Computing A Thesis Submitted to Chongqing University in Partial Fulfillment of the Requirement for the Master ’s Degree of Engineering By Liao Fu-rong Supervised by Prof. Wang ChengliangSpecialty: Computer Software and TheoryCollege of Computer Science , Chongqing University,Chongqing, China April,2013 重庆大学硕 士学位论 文 中文摘要 摘 要 任 务 调 度是 云 计算 的 关键 技 术, 在 网络 带 宽有限 的 情 况下 , 为减 少 任务 执 行 过 程 中的 网 络传 输 开销 , 可 将 任务 调 度到 输入数 据 所在 的 计算 节 点上 ,面 向 数 据 本 地 性的 任 务调 度 算法 就成 为 云计 算 任务 调度技 术 中的 一 个研 究 热点 。已 有 基 于 数据本地性的任务调 度算法大多通 过推 迟 调 度 部分作业使 其 等 待 合 适 的 计 算 节 点 , 以达 到 较高 的 数据 本地 性 。 在 等 待开 销较大 情 况下 , 延迟 策 略会 影响 作业响 应时间 , 且 不能 保 证系 统负 载 均衡 。 此外 ,基于 云 计算 平 台 的 应 用通 常需 同 时 使 用 众 多计 算 、 存 储 资源 来完 成 计算 任 务, 对系统 容 错能 力 的研 究 就变 得越 来 越 重 要。 大多 数 传统 的 基于 主从 备 份的 容 错调 度算法 , 都为 每 个主 任 务拷 贝多 个 备 份 任 务 ,虽 可 保证 系 统容 错能 力 ,但 需 大量 备份成 本 ,且 只 考虑 某 一时 刻单 个 处 理 机 发 生故 障 时如 何 调度 备份 任 务, 而 针对 某一时 刻 多个 处 理机 同 时发 生故 障 时 如 何调度备份任务并没考虑。 本文在对 云 计算特点 进行 研 究的 基 础上 , 提出了 基 于 数据 本 地驱 动 的主 任 务 调度算法 ?DLD (Data Locality Drive )算法。 该算法 解决了同时满足 用户服务满 意 度 和负 载 均衡 问题 。 此外 , 考虑 单 备份 任务状 态 下, 针 对多 个 处理 机同 时 发 生 故 障 的情 况 ,提出了 最 小备 份 成本 调 度算 法,该 算 法 解决了 传 统 的基 于主 从 备 份 的容错调度算 法需大量备份成本 问题。 论文 主要工作包括: ? 介 绍 了云 计 算的 出 现背 景 、形 式 以及 体 系结构 , 将 其与 并 行计 算 、网 格 计 算 和 效用 计 算进 行 了比 较, 简 单概 括 了云 计算的 特 点, 对 现有 成 熟的 云计 算 平 台 进行了介绍。?综合 考虑到数据本地性、 网络带宽、 集群负 载情况, 提出了 DLD 算法 。 该 算法将任务调度分为两阶段, 第一阶段为 ― 本地 ‖ 阶段, 将所有任务都调度到 输入数 据所在的计算节点上。 第二 阶段为 ― 均衡‖ 阶段, 迭代地将最大负载计算节点上的任 务移到最小负载的计算节点上,直至 作业响应时间 最小。 ? 针 对 多个 处 理机 同 时发 生 故障 的 情况 , 在研究 备 份 重载 和 同步 错 位调 度 技 术 的 基础 上 ,运 用 边界 调度 概 念得 出 最小 备份成 本 调度 算 法, 该 算法 以备 份 成 本 最小化为主要目标。 ? 通 过 仿真 实 验模 拟 调度 实 验数 据 ,分 别 分析了 主 任 务调 度 算法 和 备份 任 务 调度算法的性能, 结果 明本文所提算法 对云计算环境 任务调度 有良 好借鉴作用。 关键词: 云计算,任务调度 , 数据本地性 ,同步错位调度 ,备份重载 I 重庆大学硕 士学位论 文 英文摘要 ABSTRACT Task seheduling is the key technology of cloud computing, in order to reducing the transmission overhead during task execution process under the limited network bandwidth, it can place tasks on compute nodes that contain their input blocks. So the research of task scheduling algorithm for data locality become a hot topic in the cloud computing. Currently existing task scheduling algorithm which based on data local drive mostly adopt delaying the scheduling of part of the tasks to make them waiting for the right compute nodes to achieve higher data locality. In the case of large waiting overhead, delay strategy will affect the job completion time, and can not guarantee that the system load balancing. In addition, the applications based on cloud computing platform usually need to use a number of computing resources and storage resources to completing computing tasks, so the fault-tolerant capability of system has become increasingly important. Most traditional fault-tolerant scheduling algorithm based on backup by coping multiple backup tasks for each of the main tasks to guarantee system fault tolerance, although it can ensure that the fault-tolerant capability of system, require a lot of backup cost, and only considering how to schedule backup tasks when a single processor failure at some point, do not consider how to schedule backup tasks when multiple processors to fail simultaneouslyOn the basis of the study of the characteristics of cloud computing, this paper present a based on data locality driven primary task scheduling algorithm--DLDData Locality Drive. The algorithm solves the problem that meeting customer service satisfaction and load balancing at the same time. In addition, consider single backup task status, for the failure of more than one processor at the same time, present the minimum cost of backup scheduling algorithm, the algorithm to solve the problem that require a lot of backup costIn this paper, the work includes: ?Introduce the emergence background of cloud computing, form and architecture, compare with parallel computing, grid computing and utility computing, summary the characteristics of cloud computing, and descible the existing cloud computing platform?It present DLD algorithm under considering the data locally, network bandwidth and the cluster load. The task scheduling is divided into two stages. The first stage is "local" phase, placing all tasks on compute nodes which contain their input blocks. The II 重庆大学硕 士学位论 文 英文摘要 second stage is the "reduce" phase, reduce the makespan iteratively?On the basis of the study of backup overloading and synchronization dislocation techniques, for the more than one processor failure at the same time case, use the concept of boundary scheduling to presenting minimum cost of backup scheduling algorithm, which is to back up the cost minimization main objective? By simulation scheduler experimental data, analyzing the performance of primary task scheduling algorithms and backup task scheduling algorithm. The results show that the proposed method has a good reference to task scheduling of cloud computing environment Keywords :Cloud computing, task scheduling, Local, Synchronous stagger-location scheduling, backup overloading III 重庆大学硕 士学位论 文 目 录 目 录 中 文 摘要. I 英 文 摘要II 1 绪 论 1 1.1 课题背景及意义 1 1.2 国内外研究现状 2 1.3 当前研究存在的问题. 3 1.4 论文组织结构. 5 2 云计算概述. 6 2.1 云计算概要介绍 6 2.1.1 云计算 出现的背 景. 6 2.1.2 云计算 的形式 7 2.2 云计算体系结构. 8 2.2.1 核心服 务层. 8 2.2.2 服务 管 理层10 2.2.3 用户访 问接口层 10 2.3 云计算的特点10 2.4 云计算与传统计算模式的关系. 11 2.4.1 云计算 与并行计 算的比较12 2.4.2 云计算 与网格计 算的比较12 2.4.3 云计算 与效用计 算的比较13 2.5 现有云计算平台简介13 3 主 任 务 调 度算 法的 研究15 3.1 任务调度概述15 3.2 任务调度的组织形式15 3.2.1 集中式 调度16 3.2.2 分布式 调度16 3.2.3 分层式 调度17 3.3 任务调度的目标. 17 3.4 主任务调度算法的提出18 3.4.1 算法相 关理论. 19 3.4.2 算法描 述 21 IV 重庆大学硕 士学位论 文 目 录 3.4.3 算法流 程 22 3.4.4 算法时 间复杂度 分析. 28 4 备 份 任 务 调度 算法 的研 究 29 4.1 错误模型. 29 4.2 任务备份技术30 4.2.1 备份重 载技术. 30 4.2.2 同步错 位调度技 术31 4.3 备份任务调度算法的提出 32 4.3.1 符号介 绍 32 4.3.2 任务响 应时间. 32 4.3.3 备份成 本 32 4.3.4 备份任 务调度限 制条件 33 4.3.5 边界调 度 33 4.3.6 最小备 份成本调 度算法(MRCA ). 34 5 仿真实验. 38 5.1 对比算法描述38 5.2 实验参数说明38 5.3 实验结果与分析. 39 5.3.1 数据本 地率39 5.3.2 作业响 应时间. 40 5.3.3 网络环 境对算法 的影响 40 5.3.4 备份成 本 42 6 总结与展望44 6.1 本文总结. 44 6.2 未来展望. 44 致 谢. 46 参 考 文献. 47 附 录. 50 作者在攻读 硕士 学位 期间所发 表的文章. 50V 重庆大学硕 士学位论 文 1 绪 论 1 绪 论 1.1 课 题背 景 及 意义 在今天,云计算 一 词 ,可 以 说是 如 火如 荼 ,发展 势 头 极其 凶 猛, 不 管是 工 业 界还是学术界, 云计算都是人们研究关注的热点。 各大云计算厂商如 Amazon ,IBM, [1] Google ,Microsoft ,Sun 等公司 纷纷推 出了 自己的云 计算服务 平台 ;学术界的 众 多 学者 们 也开展了研究工作, 对 云 计算 出现的 诸 多问 题 进行 了 深入 研究 , 并 提 [2] 出了解决这些问题的方法, 对 云计算的发展 做了大量贡献 。到底什么 是云计算 呢 ? 目前 对 云计 算 的定 义没 有 统一 的 标准 ,众说 纷 纭, 下 面列 出 几种 代表 性 的 定 义: [3] 定义1 云计算 是一种能够在短时间内迅速按 需提供资源的服务, 可以避免资 源的过度和过低使用。 [4] 定义 2 云计 算 是一种并行的、 分布式的 系统 ,由虚拟化 的计算资 源构成, 能够根据服务提供者和用户事先商定好的服务等级动态地提供服务。 [5] 定义3 云计算 是一种可以调用的虚拟化的资 源池, 这些资源池可以根据负载 动 态 重新 配 置, 以 达到 最优 化 使用 的 目的 。用户 和 服务 提 供商 事 先约 定服 务 等 级 协议,用户以用时付费模式使用。 3 个不同定义强调的重点 不同, 定义 1 主要强 调按需使用方式, 定义2 突出服 务 提 供者 和 用户 事 先商 定好 的 服务 等 级协 议,这 两 个都 是 只从 一 定的 角度 给 出 的 定义,定义3 综合了前两种定义,更好的揭示 了云计算的特点。 从本质上来讲, 云计算是指用户终端通过远程连接, 获取存储、 计算、 数据库 [2] 等计算资源 。使用 一台 简单客户 机 ,如手 机 、PC 机、笔 记本电脑 等 ,就可 以借 助 网 络服 务 来实 现 我们 需要 的 一切 , 其中 包括超 级 计算 这 种大 型 应用 ,是 云计算 的未来 的 发展蓝图。 云计算环境同网格计算 环境一样 , 对任务调度 策略要求颇高, 一个好的任务调 度 策 略, 不仅在 系 统资 源的 利 用率 方 面有 所提高 , 平衡 系 统负 载 ,重 要的 是 可 以 [9] 提高云计算服务质量 。 云计算 的目标是 将大 量同构或异构资源集合起来, 充分利 用 这 些资 源 ,更好地 为 用户 完 成提 交 的任 务, 提 供 更好 的 服务 质 量。 因此 任务调 度 是 云计 算 中基 础 而关 键的 研 究工 作 之一 。 然而 , 由于 网 络带 宽 是 云 计算 系 统 中 的 有限资 源 ,因此, 云 计算 的 任务 调 度算 法必须 考 虑任 务 数据 本 地性 。但当网络 状态 很好 但 大部 分 的 处 理机 不 能在 短 时间 内空闲 时 ,一 味 追求 高 的数 据本 地 性 对 作 业 响应 时 间 有 负 面影 响 , 因 此, 如 何在 数据本 地 性和 作 业响 应 时间 之间 折 中 对 提高云计算服务质量有重要意义。 1 重庆大学硕 士学位论 文 1 绪 论 另一方面, 云平台 聚合了各种不同的离散资源 , 面对的是超大规模的分布式环 境, 使其 具 有高 度 的动 态性 和 异构 性 特点 ,因而 , 较传 统 的计 算 平台 出错 几 率 而 言 , 云平 台 的出 错 机 率 更大 。 为此 , 研究 具有容 错 机制 和 失败 容 忍能 力的 云计算 任务 调度算法 ,对提高云计算的服务质量具有重要意义。 1.2 国 内外 研究 现状 自 云计算 的 概念提出 以来 , 就开 始 被广 泛 关注。 当 前 ,信 息 产业 强 国纷 纷 将 云计算纳入了战略性产业, 一些国际知名 IT 企业如 Google 、IBM 、 微软、 亚马逊 等 IT 厂商以前所未有的速度和规模推动云计算技术和产品的普及, 一些发达国家 也 已 开始 部 署国 家 级云 计算 基 础设施 。为 了减少 财 政预 算 、增 强 数据 存储 能 力 , [7] 在 2008 年, 美国国防部开始研究云计算技术 。2009 年 3 月 , 美国 开始进行调研、 组织准备、 技术准备、 标准准备, 正式启动 了 联邦云计算计划, 2009 年 6 月, 美 [7] 国云计算 发展计划出现了 转折点 ,实现了从计划到实践的飞跃 。2010 年 11 月, 美 国 政府 提 出了 联 邦政 府部 门 使用 云 计算 系统过 程 中可 能 发生 的 安全 问题 , 提 出 [8] 了 《 美国 政府 云 计算 安全 评 估与 授权 议案 》, 并 给 出了 评估 和 授权 的过 程 。2010 年 12 月,美国联邦 政府正式发布了《改革联 邦信息技术管理的 25 点实施计划》 , 标志 着美国政府开始正式步入云计算。 在中国, 云计算还处于 发展 的初级阶段, 尽管己 经 提供了一部分 可用的云服务, 但 应用、 普及 还需要一定的过程。2008 年 11 月, 在东莞松山湖, 广东电子工业研 究院投资 2 亿元建立国内第一个企业级云计算 平台, 在浙江无锡,IBM 建立第一 个云计算中心; 之后 , 中国政府部门、 各 大 IT 企业纷纷与 IBM 等国外厂商 合作建 立 云 计算 中 心; 电 信、 移动 等 国有 大 企业 也 也启 动 了相 应 的云 计 算发 展计 划 , 以 促 进 产业 信 息化 。 北京 推出 了 祥云 工 程, 上海推出了 云 海 计划 以 促进 云计 算 的 发 展。2010 年 10 月, 工业和信息化部 颁布 了 《关于做好云计算服务创新发展试点示 范工作的通知》 , 在北京、 上海、 深圳杭州、 无锡等五个城市先行开展云计算创新 [7] 发展试点示范工作 。 技术上, 我国在云计算的 加密、 处理、 数据存储 等环节比较薄弱, 而安全又是 人 们 的首 要 考虑 , 对云 计算 的 安全 问 题极 为谨慎 , 中国 现 在的 云 计算 局面 是 : 大 的 有 能力 的 企业 积 极进 行云 计 算的 研 究与 应用, 政 府、 银 行、 涉 密部 门、 证 券 等 也 挤 入该 行 列, 由 于这 些行 业 安全 性 要求 较高, 所 以要 在 保证 安 全的 前提 下 才 会 使 用 ,还 有 许多 企 业持 观望 态 度。 与 国外 公司合 作 完成 云 计算 , 如无 锡太 湖 云 计 算中心、中石化企业云计算平台 ,是中国云 计算研究 一个特别明显的现象 。 2 重庆大学硕 士学位论 文 1 绪 论 2009 年9 月 2009 年5 月政府云计算计划官方网 站app.gov 上线 NIST 给出云计算的定义 2010 年12 月 发布改革联邦信息技术2009 年5 月 管理的25 点实施计划 确定基础设施即服 2011 年2 月2009 年4 月 务中的RFI 问题 发布云计算 组建联邦云计划 2009 年6 月 2010 年11 月战略报告 统筹办公室 2009 年3 月 发布美国政府云计算 发布基础设施即服 2009 年5 月安全评估与授权报告 务中的RFI 问题 启动联邦云计算计划 云计算行业大会即将出台云计 上海推进云计算产 IBM 助力打造中业发展行动 算标准化政策 化云计算平台 2010 年7 月 2009 年10 月IBM 与山东东营市 北京祥云工程 政府建立黄河三角洲2010 年7 月 云计算中心 关于做好云计算服务创新 2009 年9 月IBM 助力无锡云计算 发展试点示范工作的通知 中心打造商务云平 台 , 开发云平台 2010 年10 月 2009 年10 月 图 1.1 中美 云计算发 展概况对 比 Fig 1.1 The cloud computing development situation contrast 图 1.1 将中美两国云计算发展概况进行了对比, 可以看出美国云计算的发展路 线是:制定发展计划 ??制定标准 ??实施计划;2009 年美国开始启动联邦云计 算计划, 而后给出了云计算的定义和制定了相关标准,2010 年 12 月美国宣布实施 计划,经历了 22 个月的调研和讨论。而中国 的云计算发展路线与美国恰 恰相反, 是 先 实施 , 然后 制 定标 准, 在 尚无 云 计算 统一定 义 及标 准 的 情 况 下, 中国 企 业 及 部 分 政府 就 开始 大 力发 展云 计 算, 这 不仅 会引起 许 多资 源 的浪 费 ,最 重要 的 是 存 在着诸多安全隐患。 1.3 当 前研 究存 在的 问题 云计算广泛的应用于各个领域 , 不仅包括大型科学计算的国家级部门 , 如航天、 气象部门 ,而且很多大公司 如 IBM 、微软 、NEC 等 也开始追捧这种计算模式 , 着手引进云计算基础设施架构 。 云计算 PaaS 层的海量数据处理以数据密集型 作业为主,其执行性能受到 I/O 带 宽 的影 响 。但 网 络带 宽是 计 算集 群 (计 算集群 既 包括 数 据中 心 中物 理计 算节点 集 群 ,也 包 括虚 拟 机构 建的 集 群) 中 的有 限 的资 源 :? 云 计算 数 据中 心考 虑 成 本 因素,很少采 用高带宽的 网络设备 ;?IaaS 层部署的虚拟机 集群共享有 限的网络 3 重庆大学硕 士学位论 文 1 绪 论 带宽; ?海量数据的读写操作占用了大量带宽资源。 因此 PaaS 层海量数据处理平 台的任务调度需要考虑网络带宽因素。 为了减少任务执行过程中的网络传输开销, 可以将任务调度到输入数据所在的 计算节点, 因此, 需要研究面向数据本地性 (data-locality ) 的任务调度算法。 Hadoop 以 “ 尽力 而 为” 的 策略 保证 数 据本 地 性。 虽然该 算 法易 于 实现 , 但 没 有做 到 全 局 优化,在实际环境 中不能保证较高的数据本地性。为了达到全局优化,Fischer 等 人为 MapReduce 任 务 调 度 建 立 数 学 模 型 , 并 提 出 了 HTA ( Hadoop task assignment )问题。该问题为一个变形的二部图匹配(如图 1.2 所示) ,目标是将 务分配到计算节点, 并使各计算节点负载均衡, 其中 s 、t 分别表示计 算节点和任 i j 务 ,实 边表 示 s 有 t 的 输入 数据 ,虚 边表示 s 没有 t 的输入 数据 , w 和 w 分别 i j i j l r 表示调度开销。该研究利用 3-SAT 问题证明 了 HTA 问题是 NP 完全的,并设计 了 Cover-BalAssign 算法解决该问题。虽 然 Cover-BalAssign 算法的理论 上 限 接近 最 优解 , 但时 间复 杂 度过 高 , 难 以应用 在 大规 模 环境 中 。 为 了提 高 数 据 [21] 本地性,Zaharia 等人设计了延迟调度 (delay scheduling ) 算法 。 该算法 的策略 是: 对每 个 任务 , 首先 查找 是 否存 在 空闲 的且含 有 该任 务 输 入 数 据的 节点 , 如 果 不 存 在这 样 的节 点 ,则 推迟 该 任务 的 调度, 使其 等 待合 适 的计 算 节点 。尽 管 这 种 策略在 数据本地性 方面有所改进, 但由于计算节点不可能总是在很多时 间内空闲, 在等待开销较大的情况下,延迟策略会影响 作业响应时间 。 计 算节 点 s s s 3 1 2 w w l r t t t t t t t 1 2 3 4 5 6 7 任务集图 1.2 HTA 问题模型 Fig 1.2 The HTA model problem 此外, 当处理机发生 故障 时 ,针 对 独立 任 务的 容 错 机 制有 了 大量 的 研究 , 且 提 出 了各 种 有效 的 算法 和技 术 。如 反 转恢 复技术 、 主备 份 调度 技 术 、 错误 恢 复 中 的 投 票技 术 等。 大 多数 容错 机 制都 是 从备 份角度 考 虑的 ,当处 理 机发 生故 障 时, 要保证 发 生 故障 处 理机 上所 执 行任 务 能够 输出正 确 的结 果 ,就 必 须在 其他 处 理 机 4 重庆大学硕 士学位论 文 1 绪 论 上 备 份这 个 任务 , 如果 执行 主 任务 的 处理 机发生 故 障, 那 么启 动 备份 任务 开 始 执 行 。 为每 个 主任 务 拷贝 多个 备 份任 务 是许 多传统 容 错机 制 使用 的 方法 ,当 主 任 务 执 行 发生 错 误 时 , 选择 多个 备 份任 务 中的 一个 开 始 执行 , 虽然 这 种机 制可 以 保 证 当 主 任务 所 在处 理 机发 生故 障 时, 仍 能得 到正确 的 结果 , 但这 种 机制 会占 用 大量 的空间 来 存 储备 份 任务 ,需 要 大量 的 备份 成本 ; 且 只考 虑 某一 时 刻单 个处 理 机 发 生 故 障时 如 何调 度 备份 任务 , 而针 对 某一 时刻多 个 处理 机 同时 发 生故 障时 如 何 调 度备份任务并没考虑。 针对以上不足, 本文提出了基于数据本地驱动的主任务调度算法 ?DLD (Data Locality Drive ) 算法。 该算法解决了同时满足用户服务满意度和负载均衡问题。 此 外, 考虑 单 备份 任 务状 态下 , 针对 多 个处 理机同 时 发生 故 障的 情 况, 提出 了 最 小 备 份 成本 调 度算 法 ,该 算法 解 决了 传 统的 基于主 从 备份 的 容错 调 度算 法需 大量备 份成本 问题。 1.4 论 文组 织结构 论文的具体章节安排如下 : 第一章 绪论。 说明 了 本文 的 选题背景 及意义 , 对国内外 的 现状进 行了 研究, 特别就 中 美 两国 云 计算 发展 概 况进 行 了对 比 ,介绍了本文 的主 要 研究 内容 和 组 织 结构 。 第二章 云计算概述。 首先 介 绍了 云计 算出现 的背景和形 式 ,紧接 着 分别 对云 计算 体系架构 中的 3 层,即 SaaS 层,PaaS 层,IaaS 层进行了介绍, 并辨析了云计 算与 分布 式 计算 、 并行 计算 、 网格 计 算的 关系, 介 绍了 目 前广 泛 使用 的三 种 云 计 算平台。 第三章 主任务调度 算法 研究 。将网络 带宽和 负载均衡作 为 影响任 务调度的 考 虑 因素, 提出基于数据 本地驱动的 主任务调度算法 。第四章 备份任务调 度算法研究 。介绍 了备份 任务调度的 基础知识 , 包括错误 模 型 ,备 份 重载 技术 、 同步 错 位技 术 , 提 出了 基 于 独立 任 务的 最 小备 份成 本 的 备 份任务调度算法。 第五章 仿真实验 。 对本文提 出的 算法 进行模 拟实验。实 验对比包 含 网络拥堵 对算法影响、系统负载对算法影响、极端情况、任务完成总时间 和备份成本。 第六章 总结与展望 ,概述研究工作,展望进一步工作。 5 重庆大学硕 士学位论 文 2 云计算概 述 2 云计算 概述 云计算作为新兴的lT 技术热点, 目前在业内还 没有统一的标 准规范。 众多IT 厂商均在大力加强对云计算研究的投入, 积极宣传自己 的云理念 , 云产品和服务 。 随 着 云计 算 在业 界 不断 的发 展 和深 入 ,它 的技术 标 准 、 发 展方 向 和服 务模 式 将 逐 渐明确,未来标准和技术的全面融合将是一种趋势。 2.1 云 计算 概要 介绍 2.1.1 云计算出现的背景 近年来, 诸多新一代大规模互联网应用发展迅猛, 如 电子商务、 社交网络、 在 线 视 频、 数 字城 市 等, 这些 新 兴的 应 用 的 特点是 : 数据 存 储量 大 、业 务增 长 速 度 快。 据统计 截止2010 年, 社交网站 Facebook 已存 储的数据就达到15PB, 并且每 天 以 60TB 的速度增 加;电子商务网站淘宝仅 B2C 业务的数据中心 就存储了14PB 的 数据, 增长了 4 倍,并且每天 以 500TB 的速 度增加 。然而, 传统企业的软硬件 维护成本 却越来越高昂 : 在企业的IT 投入中 , 仅有20%用于商业价值的提升与软 硬件更新,而 80%则 用于系统 的 维护。根据 2006 年 IDC 对 200 家企业的统计, 部分企业的信息技术人力成本达到1320 美元/每人/每台服务器, 而部署一个新的 [13] 应用系统需要花费5.4 周 。 为了解决上述问题, Google 、Amazon 等公司在2006 年提出了 “云计算” 的 构想。 云 计 算是 基 于 互 联网 的 超级 计 算模 式,它 把 各种 计 算资 源 集中 在一 起 , 整 合 成 处理 能 力更 大 的超 级计 算 机 , 利 用互 联网实 现 随时 随 地、 按 需、 便捷 地 访 问 共 享 资源 池 资源 。 云计 算 最 重 要的 表 现形 式 是计 算 机资 源 服务 化 ,它 为用 户 屏 蔽 了 应 用程 序 部署 、 数据 中心 管 理、 大 规模 数据处 理 等问 题 。通 过 云计 算, 用 户 可 以 按 需申 请 云计 算 资源 ,并 以 按需 支 付的 方式对 资 源 进 行 付费 , 既提高了云计算 的 服务质量 ,也降低 了自己的 运维成本。 云计算模式作为信息产业的一大创新 , 一经提出便得到学术界、 工业界的广泛 关注。早在 2007 年,多所美国高校 如斯坦福大学 便开始和 IBM 、Google 合作, 研究云计算关键技术 。随着 学 者 们 对 云 计 算 研 究 的 深 入 , 在一些 国际会议(如 SIGCOMM 、CCS 、SIGMOD 、OSDI 等) 上 也 陆续发表了 许多与云计算相关 的 研究成 果。 与此同时, 各大IT 厂商对云计算也展开了研究工作。 一些 新型并行编程框架 如MapReduce 简化了海量数据处理模型, 云计 算开发平台 如:Google 公司的 App Engine , 为应用服务提供商开发和部署云计算服务提供接口, 而Amazon 等公司的 云 计 算平 台 可提 供 基础 设施 服 务, 如 快速 部署的 虚 拟服 务 器, 实 现了 基础 设 施 的 6 重庆大学硕 士学位论 文 2 云计算概 述 按需分配 , Salesforce 公司 的 客户 关 系 管理服 务 , 通 过将 桌 面应 用 程序 迁 移 到 互联网 , 实现了 应 用程 序的 泛 在访 问,此 外, 开 源 云计 算 平台 的 出现 加速 了 云 计 算服务的研究和普及。然而, 在本质上, 云计算并非一个全新的概念。 早在1961 年,John McCarthy (计算机先驱) 就预言: “未来的计算资源能像公共设施 (如水、 电) 一样被使用 [15] 。 ” 为了实现这个目标, 学术界和工业 界 经过 大量的努力研究, 陆续提出了网格 计算 、 效用计算、 集群计算 、 服务计算等技术, 云计算正是从这些技术发展而来。 2.1.2 云计算的形式 目前, 尽管 大 家对 云 计算 的 研 究 做 了大 量 贡献, 但 云 计算 的 发展 还 处于 初级 阶段, 各个公司呈现出 的运用模式也是 不同的。 其主要表现形式为: 软 件即服务、 平台即服务、基础设施即服务, 表 2.1 对三层提供的服务进行了比较。 表 2.1 IaaS 、PaaS 、SaaS 比较 Table 2.1 IaaS, PaaS, SaaS comparisonIaaS PaaS SaaS 提供应用程 序部署与 管 提供基于互 联网的应 用 服务内容 提供基础设 施部署服 务 理服务 程序服务 企业和需要 软件应用 的 服务对象 需要硬件资 源的用户 程序开发者 用户 使用者上传 数据、程 序 使用者上传 数据、程 序 使用方式 使用者上传 数据 代码、环境 配置 代码 数据中心管 理技术、 虚 海量数据处 理技术 、 资源 Web 服务技 术、互 联 网应 关键技术 拟化技术等 管理与调度 技术等 用开发技术 等 Google App Engine 、 Amazon EC2 、 Eucalyptus Google Apps 、Salesforce 系统实例 Microsoft 、Azure 、 等 CRM 等 Hadoop 等 ?软件即服务SaaS 随着互联网技术的发展和应用软件的成熟, 在 21 世纪兴起 了一种完全创新的 软 件 应用 模 式 即 软 件即 服务 。 软件 即 服务 是基于 云 平台 所 开发 的 应用 程 序, 是一 种通过Internet 提供软件 服务 的模式, 即 服务 提供商 将自己提供的 所有应用软件 部署在网络上 的 服 务器 上, 如果用户 需要 购买某 个 软件 , 则可 以 像上 网一 样 , 在 浏览器 的 地 址栏 中 输入 该服 务 提供 商 的域 名, 找 到 自己 所 需的 软 件 并 购买 , 并 按 7 重庆大学硕 士学位论 文 2 云计算概 述 定购的时间长短 和服务多少 支付费用, 便可 获得服务提供商 提供的服务 。 这种服务 模式的优势是, 用户不再购买软件,而 是 向云计算服务提供商 租用基于 Web 的软 件 , 由云 计 算服 务 提供 商维 护 和管 理 软件 , 提供 软 件运 行 的硬 件 设施 ,用 户 只需 要 按 时支 付 使用 软 件 的 费用 , 便可 享 有软 件 的使 用 权和 升 级权 , 而不再像 传统模 式 那 样花 费 大量 投 资 , 用于 硬 件维护 、软 件 升级 和 人员 等;公司 的项目也 不 再像 传统模式 一样, 花费 大量的时间用于布置系统, 只需经过 简单的配置就可以使用。 软件即服务 是网络应用最具效益的营运模式。 ?平台 即服务PaaS 平台 即服务指云计算服务提供商 将软件研发的平台 、 程序运行 的环境作为一种 服务, 以SaaS 的模式提交给用户 , 平台即服务 和软件即服务 的服务 模式是相同的, 只 是 它们 提 供的 服 务资 源不 一 样 。 有了平 台即服 务 的这 种 模式 , 对应 用程 序 开 发 者 来 说非 常 方便 , 他们 不再 需 要购 买 软件 开发工 具 , 只需 将自 己 的程 序代 码 和 数 据上传到平台层 , 平台层 就会自动运行该应用程序, 不需要考虑底层 底层的存储、 操作系统的 管理、网络等问题。 早在 2007 年, 国内外一些 软件即服务 提供商就 先后推出自己的 平台即服务 平 台。 对于 企业来说,PaaS 能够提供定制 化研发的中间件平台,同时涵盖应用服务 器 和数据库 等,能更好地搭建基于 SOA 架构的企业应用 ;对于 用户来说,可以 在 PaaS 平台 上快速开发自己的应用和产品 ,节约大量人力物力成本。 ? 基础设施 即 服务IaaS 基础设施 即服务 是一种为用户提供 基础设施的服务 , 包括: 存储、 计算 和网络 等 基 础设 施 。用 户 需要 购买 资 源时 , 首先 要 向管 理 员申报,管理员 对 该申 请 进 行 审批 ,同 意 之后 , 用户 上传 基 础设 施 的配 置信息 , 程序 代 码 、 用 户数 据 后 即可获 得 所需的基础设施 。 2.2 云 计算 体系 结构 云计算可以根据用户的需求提供弹性资源,其 表现形式是一系列服 务的集合。 从服务的角度, 其 体系架构可分为 三层: 核心服务、 服务管理、 用户访问接口 层, [14] 如图 2.1 所示 。将硬件基 础设施、 软件运行 环境 、应用程序抽象成服务是 核心 服务层 的主要功能, 这些服务 可以满足不同用户各种各样 的应用需求 , 其特点是: 可 靠 性强 、 可用 性 高、 规模 可 伸缩 等 。服 务管理 包 括: 服 务质 量 管理 、安 全 管 理 等 , 主要 为 核心 服 务 层 提供 支 持, 确 保核 心服务 层 的可 靠 性、 可 用性 与安 全 性 。 用户访问接口层实现端到云的访问。 2.2.1 核心服务层 核心服务 层由3 个子层构成,分别是 :基础设施层 、平台 层、应用层 。8 重庆大学硕 士学位论 文 2 云计算概 述 基础设施层是云 计算构成的基础, 由 一系列物理硬件 组成, 这些 物理硬件 可以 是 同 构的 , 也可 以 是异 构的 。 云平 台 通过 虚拟化 技 术 , 将 用户 的 服务 等封 装 成 镜 像 运 行在 云 中, 从 而, 很好 的 解决 了 资源 异构的 问 题。 其 主要 任 务是 为用 户 提 供 底 层 支持 , 包括 资 源的 部署 、 资源 使 用、 抽象 、 负 载均 衡 和计 费 管理 等。 亚马逊 的弹性云(EC2),Apacha 的开源项目Hadoop 都是这一层的典型服务, 平台层是运行在基础设施层上的一层 。 用户通过 平台层提供的一系列 的软件工 具 和 开发 语 言, 部 署自 己软 件 所需 的 运行 环境和 配 置, 而 不需 要 关心 底层 的 运 行 情况 , 只 需 专 注 于 开 发 的 应 用 程 序 本 身 。 典 型 的 代 表 有 Google App Engine , Microsoft Azure 。 应用层是运行在基础设施层和平台层之上的一层, 主要用于提供软件服务。 对 于普通用户 ,可 以 按照 自己 的 喜欢 和 实际 需求 , 通 过网 络 向提 供 商定 制所 需 的 应 用 软 件, 按 照使 用 的情 况, 按 需付 费 。同 时,用 户 无需 进 行 软件 安装 ,只 需通过 浏 览 器即 可 访问 自 己的 应用 。 对于 企业, 可以租 用 该层 的 服务 来 解决 企业 信 息 化 问题,如企业通过 GMail 建立 自己的电子邮件服务。 图 2.1 云计 算体系架 构 Fig 2.1 Cloud computing architecture9 重庆大学硕 士学位论 文 2 云计算概 述 2.2.2 服务 管理层 顾名思义, 服务管理层 的主要功能是对服务进 行管理, 包括 对安全的 管理、对 服务质量 的保证、计费 的管理、资源 的监控 等。 由于 云计算为用户 提供的是 一种定制的、 个性化的、 低成本高可用 高可靠的 服 务 , 因此 , 不得 不 考虑 另一 个 问题 : 服务 质量。 但 由于 云 平台 本 身的 特点 , 其 规 模 庞 大且 结 构复 杂 , 若 想要 百分 之 百 地满足 用户 的 质量 需求几 乎 是不 可能 的 。为 此, 要提 高 用户 的 满意 度, 云 计算 服 务提 供商就必须 和 用 户进 行 协商 , 在 双方对 服 务 质 量 的 需 求 达 成 一 致 的 情 况 下 , 制 定 服 务 水 平 协 议 (SLA ,service level agreement ) 。 如果 用户得到的 服务没有达到SLA 规定的要求 , 则必须对用户进行 补偿。 2.2.3 用户访问接口 层 用户访问接 口包括 Web 服务、 命令行 、Web 门户等形式 ,实现 了云计算 服务 的泛在访问。 终端设备应用程序开发接口可以通过Web 服务和命令行的访问模式, 除 此 之 外,Web 服 务 和命 令 行还 便 于多 种 服务的 组 合 。还 有一 种 访问 接 口模 式 是 Web 门户,通过 Web 门户,云计算用户可以将桌面应用迁移到互联网,只要在有 网 络