云计算的学习笔记

关于云计算的学习笔记 阿 贵 上海光华冠群软件有限公司 2010201020102010年 5555月 与阿贵一起了解云计算 - 2 - 1 什么是云计算------------------------------------------------------------------- - 3 - 2 云计算与虚拟化的关系----------------------------------------------------------- - 5 - 虚拟化平台的类型-------------------------------------------------------------- 6 - 虚拟化平台列表---------------------------------------------------------------- 7 - 三种常见虚拟化平台的对比------------------------------------------------------ 9 - KVM 与 Ctrix XEN 的对比------------------------------------------------------ - 12 - 云计算与网格计算、服务器集群、虚拟化的区别----------------------------------- 15 - 3 云计算的一些例子-------------------------------------------------------------- - 16 - GOOGLE 云计算--------------------------------------------------------------- - 16 - Amazon 的云计算------------------------------------------------------------- - 16 - IBM 的云计算---------------------------------------------------------------- - 17 - 微软的云计算----------------------------------------------------------------- 18 - 其它形式的云计算------------------------------------------------------------- 18 - 4 云计算平台介绍---------------------------------------------------------------- - 19 - 4.1Readhat Cloud Computing 云计算平台--------------------------------------- - 19 - Redhat 云计算的组成图--------------------------------------------------- - 19 - Red Hat 云计算的组成----------------------------------------------------- 21 - Redhat 云计算管理平台--------------------------------------------------- - 23 - Redhat 云计算中用到的主要软件：------------------------------------------ 24 - Redhat 云计算的一些案例：----------------------------------------------- - 25 - 4.2Vmare vCloud 云计算平台-------------------------------------------------- - 27 - VMware 云计算定义-------------------------------------------------------- 27 - Vmware 的云策略--------------------------------------------------------- - 27 - vCloud 模块组成--------------------------------------------------------- - 28 - 4.3 其它开源的云计算平台---------------------------------------------------- - 28 - 开源的虚拟服务器平台----------------------------------------------------- 28 - 开源的虚拟化管理系统----------------------------------------------------- 29 - 开源的虚拟化工具--------------------------------------------------------- 32 - 开源的文件集群系统------------------------------------------------------- 33 - 开源的 PaaS 平台---------------------------------------------------------- 34 - 开源的基础设施监控项目--------------------------------------------------- 34 - 开源的数据库项目--------------------------------------------------------- 35 - 开源的系统管理工具------------------------------------------------------- 36 - 5 云计算的关键技术-------------------------------------------------------------- - 37 - 数据存储技术----------------------------------------------------------------- 37 - 数据管理技术----------------------------------------------------------------- 37 - 编程模式--------------------------------------------------------------------- 37 - 6 如何自己搭建云计算环境-------------------------------------------------------- - 38 - 基于 Eucalyptus------------------------------------------------------------- - 38 - 7 云计算的未来------------------------------------------------------------------ - 45 - 面向商业应用的发展----------------------------------------------------------- 45 - 面向个人需求的发展----------------------------------------------------------- 46 - 8 云计算的相关标准-------------------------------------------------------------- - 46 - 与阿贵一起了解云计算 - 3 - 关于云计算的学习笔记关于云计算的学习笔记关于云计算的学习笔记关于云计算的学习笔记 阿贵 2010-05-08 前言：前言：前言：前言：从去年下半年开始，一直在断断续续地了解虚拟化和云计算的相关概念，也使用过一些服务 器虚拟化平台。最近在一次交流中，偶然又谈到虚拟化与云计算的关系问，当时觉得概念很模糊， 令自己感到特别有意思的是，我曾经感觉自己已经对虚拟化和云计算有相当的了解，这次交流中出 现的模糊，让我觉得自己有必要重新梳理一下对云计算的认知，于是我将原来收集的关于虚拟化和 云计算的一些资料，按照我自己的学习路线，做了一个重新的整理，这些资料均来源于互联网或者 相关厂家的交流资料，由于参数的资料太多，有些已找不到出处，我在文章中也就没有一一注明来 源，忘原作者见谅。 1111什么是云计算什么是云计算什么是云计算什么是云计算 云计算（cloud computing），是一种互联网上的资源利用新方式，可为大众用户依托互联网上 异构、自治的服务进行按需即取的计算。它的前身是网格计算（网格计算就是将一个计算分割成片 段，提交到网络系统上的各个计算机上（格点），工作做好进行汇总完成。比较流行的软件例如globe bus + afs（提供存储映射服务））。 云计算的资源是动态易扩展而且虚拟化的，通过互联网提供。终端用户不需要了解“云”中基 础设施的细节，不必具有相应的专业知识，也无需直接进行控制,只关注自己真正需要什么样的资源 以及如何通过网络来得到相应的服务。 云计算主要体现在用一种特殊的方式来提高资源的容量而不必为新增加的部分(基础设施，人员 培训，软件的许可证)投资.云计算涵盖了任何以订户为基础的或者每次付费的实时服务，它扩展了IT 设施的已有容量。 狭义云计算：狭义云计算：狭义云计算：狭义云计算：是指 IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的 资源（硬件、平台、软件）。 提供资源的网络被称为云。 云中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使 用付费。这种特性经常被称为像水电一样使用 IT 基础设施。 广义云计算：广义云计算：广义云计算：广义云计算：是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。 user 高亮 user 高亮 user 高亮 user 高亮 与阿贵一起了解云计算 - 4 - 这种服务可以是 IT和软件、互联网相关的，也可以使任意其他的服务。 维基百科云计算定义：维基百科云计算定义：维基百科云计算定义：维基百科云计算定义：将 IT 相关的能力以服务的方式提供给用户，允许用户在不了解提供服务 的技术、没有相关知识及设备操作能力的情况下，通过 internet 获取服务。 NISTNISTNISTNIST（（（（美国国家标准技术研究所）美国国家标准技术研究所）美国国家标准技术研究所）美国国家标准技术研究所）云计算定义：云计算定义：云计算定义：云计算定义：用户可以方便的、按需通过网络访问共享计算 资源池（网络、服务器、存储、应用和服务等），具有快速部署，最小的管理代价或最少的服务提供 商干预的一种新型 IT 基础运行模式。 云计算的云计算的云计算的云计算的5555个特征：个特征：个特征：个特征： � 按需自服务能力 � 足够的网络访问能力 � 动态调整的共享资源池 � 快速的弹性部署能力 � 服务可计算能力 云计算的云计算的云计算的云计算的3333种服务模式：种服务模式：种服务模式：种服务模式： SaaSSaaSSaaSSaaS（软件即服务）：（软件即服务）：（软件即服务）：（软件即服务）：省去服务器和软件授权上的开支；不需要管理任何架构、软件。直接访问 并使用云平台提供商提供的服务（如 CRM,Mail, etc.)  PaaSPaaSPaaSPaaS（平台即服务）：（平台即服务）：（平台即服务）：（平台即服务）：PaaS 可描述为一个完整的虚拟平台，它包括一个或多个服务器（在一组 物理服务器上虚拟而成）、操作系统以及特定的应用程序（例如用于基于 Web 的应用程序的 Apache 和 MySQL）用户可以创建、部置自己的应用，不需要管理架构 IaaSIaaSIaaSIaaS（架构即服务）（架构即服务）（架构即服务）（架构即服务）：IaaS 是以服务的形式交付计算机基础设施。用户可以部署和运行任意的 软件和应用具有完全控制自己资源的能力 user 高亮 user 高亮 与阿贵一起了解云计算 - 5 - 硬件基础设施（HW） 云计算基础软件供应商（Enabers) 云计算化基础设施服务（Iaas） 平台即服务（Paas） 软件即服务（Saas） 一切皆服务（Xaas） 云计算的云计算的云计算的云计算的4444种部署形式：种部署形式：种部署形式：种部署形式： 私有云（单一组织私有） 社区云（多个组织或社区共享） 公共云（单一组织创建，服务公众） 混合云（3种的任意组合） 2222云计算与虚拟化的关系云计算与虚拟化的关系云计算与虚拟化的关系云计算与虚拟化的关系 云计算的基础是什么？最基本的需求：存储+处理器，当然，要支持无数的应用请求并负责保证 存储和计算的性能，这两方面都是挑战。而虚拟化技术可以保证快速地实施存储和计算的性能的无 缝扩展。目前的绝大所数的云计算平台都逐渐地使用虚拟化技术来组建云计算平台。 user 高亮 user 高亮 与阿贵一起了解云计算 - 6 - 虚拟化为云计算提供了很好的底层技术平台，而云计算则是最终产品。一般说来计算机可以分 为三个层次：硬件、操作系统和应用，虚拟化就是对这几个层次的模拟，理论上可以从任何层次模 拟到任何层次。比较典型的有以下几种： 1、 在硬件的基础上模拟出另外一个硬件，这就叫系统虚拟化，如将 ia-32 指令系统模拟成非 ia-32 指令的系统，将一台主机模拟成多台主机，vmware esri 就是一个例子。 2、在操作系统的基础上模拟出硬件机器，大家熟知的 vmware workstation就是最典型的例子。 以上基本上是从单机的角度来考虑的，如果把视野扩大，从计算机集群或整个互联网上的计算 机来看，可以有以下几种：在硬件的基础上模拟出硬件和软件，亚马逊的 ec2 是将硬件模拟为硬件 （iaas），微软的 azure 是将硬件模拟为操作系统（paas），谷歌的 google apps 是将硬件模拟成应 用（saas），至于 google app engine 是在操作系统上加了一层编程环境，也属于 paas。 虚拟化平台的类型虚拟化平台的类型虚拟化平台的类型虚拟化平台的类型 服务器虚拟化(Server Virtualization) 存储虚拟化(Storage Virtualization) 应用（程序）虚拟化(Application virtualization) 网络虚拟化(Network Virtualization) user 高亮 user 高亮 user 高亮 与阿贵一起了解云计算 - 7 - 拟化平台列表拟化平台列表拟化平台列表拟化平台列表 与阿贵一起了解云计算 - 8 - 与阿贵一起了解云计算 - 9 - 三种常见虚拟化平台的对比三种常见虚拟化平台的对比三种常见虚拟化平台的对比三种常见虚拟化平台的对比 与阿贵一起了解云计算 - 10 - 与阿贵一起了解云计算 - 11 - 与阿贵一起了解云计算 - 12 - KVMKVMKVMKVM与与与与 CtrixCtrixCtrixCtrix XENXENXENXEN的对比的对比的对比的对比 特性特性特性特性 RedRedRedRed HatHatHatHat KVMKVMKVMKVM CitrixCitrixCitrixCitrix XenXenXenXen HypervisorHypervisorHypervisorHypervisor特性特性特性特性 裸金属 Hypervisor；小体积；安全性； 准虚拟化 Hypervisor； 资源虚拟化资源虚拟化资源虚拟化资源虚拟化 每个主机最多256个 vCPU。每个主机 256 个逻辑 CPU。每个虚拟机有 16个 vCPU。 每个虚拟机支持到 32 个 vCPU； 内存管理内存管理内存管理内存管理 内存过量分配：可为虚拟机分配超出主 机物理内存的更多虚拟内存； 页面共享：内存页面共享允许运行同类 操作系统的虚拟机共享物理内存，用于 存储冗余的内存页面； 处理器硬件内存协助:使用最新的x86处 理器，缩短在主机和虚拟机之间交换内 存资源所需的时间。 32 位 Xen 支持最大 4GB 内存。 可是 Xen 3.0 为 Intel 处理器 物理指令集(PAE)提供支持，这 样就能使x86/32架构的机器支 持到64GB的物理内存。Xen 3.0 也能支持 x86/64 平台支持，比 如 Intel EM64T 和 AMD Opteron 能支持 1TB 的物理 内 存以上。 网络网络网络网络 虚拟网卡：hypervisor 可向每个虚拟机 展现多个虚拟网卡；最多 8个； vLAN：支持虚拟基础架构内部虚拟网卡 上的虚拟 LAN； 网络负荷卸载：通过将负荷卸载到兼容 的网卡硬件上，减少处理虚拟网络和网 络 IO 所需的 CPU 资源； 虚拟客户机操作系统虚拟客户机操作系统虚拟客户机操作系统虚拟客户机操作系统 Windows 2003、2008、XP 客户机和 RHEL 3,4,5+ Red Hat、SuSE 和 Debian； 运行在英特尔与 AMD 最新一代 芯片（都有硬件扩展功能）的 Xen 3.0 能运行未经修改的操 与阿贵一起了解云计算 - 13 - 作系统； 智能故障切换智能故障切换智能故障切换智能故障切换 能确保高优先级的虚拟机在虚拟机本身 或其驻留的主机遇到故障时自动重启 维护模式维护模式维护模式维护模式 正在维护的虚拟化主机自动使其虚拟机 迁移到其它可用的主机上,并作为迁移 目标而被移，直到维护完成。 迁移迁移迁移迁移 实时迁移：当虚拟磁盘文件驻留于共享 的存储基础层上时，红帽企业虚拟化可 自动或手工从一个主机向另一个主机迁 移正在运行的虚拟机，而无需停机。 Xen 虚拟机可以在不停止的情 况下在多个物理主机之间实时 迁移。在操作过程中，虚拟机 在没有停止工作的情况下内存 被反复的复制到目标机器。虚 拟机在最终目的地开始执行之 前，会有一次 60-300 秒的非常 短暂的暂停以执行最终的同步 化，给人无缝迁移的感觉； Xen 的开源版本目前还不支持 在dom0上感应到故障时自动进 行动态迁移的功能。 系统调度系统调度系统调度系统调度 共享资源池：诸如 CPU、内存和存储等资 源组成的资源池，在数据中心或集群层 进行汇总或管理，而不是对每台机器逐 一进行； 集群资源政策：允许管理员为资源的平 滑分配设置集群政策。 镜像管理镜像管理镜像管理镜像管理 瘦配置：允许虚拟磁盘创建虚拟机，而 不会在创建时占用所允许的所有空间。 这样可更好地根据需要利用存储资源。 与阿贵一起了解云计算 - 14 - 模板：虚拟机可从主安装中部署。这样 可以节约时间和磁盘空间，因为模板驱 动的虚拟机被存储的只是磁盘上模板和 虚拟机之间的差别。 控制、监控与控制、监控与报告控制、监控与报告控制、监控与报告 虚拟化管理平台： 集中控制与可见性；提供了单一视图的 管理 GUI； 主机与虚拟机管理； 系统监控； 提醒与通知：可以通过电子邮件向管理 员报告错误和报警； 远程控制台：允许控制台采用安全 VNC 或针对桌面而优化的 SPICE®远程桌面技 术而接入虚拟机； Active Directory 集成：红帽企业虚拟 化管理平台与现有的 Microsoft Active Directory 对接，用于实现用户访问与验 证； 角色与权限：可以为用户和管理员分配 精细的数据中心接入权限； PXE 启动支持：支持 PXE 启动，以实现虚 拟机的网络安装； 日志记录：为故障排除和研究提供了全 面的日志； 支持并提供应用编程接口； 与阿贵一起了解云计算 - 15 - 云云云云计算与网格计算、服务器集群、虚拟化的区别计算与网格计算、服务器集群、虚拟化的区别计算与网格计算、服务器集群、虚拟化的区别计算与网格计算、服务器集群、虚拟化的区别 网格计算是指分布式计算中两类比较广泛使用的子类型。一类是，在分布式的计算资源支持下 作为服务被提供的在线计算或存储。另一类是，一个松散连接的计算机网络构成的一个虚拟超级计 算机，可以用来执行大规模任务。该技术通常被用来通过志愿者计算解决计算敏感型的科研、数学、 学术问题，也被商业公司用来进行电子商务和网络服务所需的后台数据处理、经济预测、地震分析 等。 网格计算强调资源共享，任何人都可以做为请求者使用其它节点的资源，任何人都需要贡献一 定资源给其他节点。网格计算强调将工作量转移到远程的可用计算资源上。云计算强调专有，任何 人都可以获取自己的专有资源，并且这些资源是由少数团体提供的，使用者不需要贡献自己的资源。 在云计算中，计算资源被转换形式去适应工作负载，它支持网格类型应用，也支持非网格环境，比 如运行传统或 Web2.0 应用的三层网络架构。 虚拟存储虚拟存储虚拟存储虚拟存储 存储虚拟化：汇集并分配存储资源，以 实现最高的灵活性和利用率； 虚拟磁盘文件：虚拟磁盘作为磁盘文件 存储在多个存储域中； 共享存储：可使用 NFS、iSCSI 和光纤通 道共享存储，用于虚拟机的存储； 存储器多路径； 以物理硬盘作为虚拟块设备； 以文件作为虚拟块设备； 以 LVM 作为虚拟块设备； 以 NFS 作为虚拟系统的文件系 统； 网络存储：NAS（网络接入存 储 ），D A S（直接连接存储）和SAN （存储区域网络）——光纤通 道及 iSCSI——还支持 QLogic 和 Emulex 的 8GB HBAs（主机总 线适配器）。 快照快照快照快照 虚拟机快照：虚拟机快照允许管理员以 交易的方式应用补丁和升级，并且在补 丁出现问题时，回转到已知的正常快照。 不支持快照功能；但可以通过 linux 下的命令来创建快照。 与阿贵一起了解云计算 - 16 - 网格计算侧重并行的计算集中性需求，并且难以自动扩展。云计算侧重事务性应用，大量的单 独的请求，可以实现自动或半自动的扩展。 服务器集群是指将一组服务器关联起来，使它们在外界从很多方面看起来如同一台服务器。集 群内的服务器之间通常通过局域网连接，通常用来改善性能和可用性，但一般而言比具有同等性能 功能和可用性的单台主机具有更低的成本。网格通常更加松散连接、异构、地理位置分散，主机之 间信任度更低。 虚拟化指对计算资源进行抽象的一个广义概念。虚拟化对上层应用或用户隐藏了计算资源的底 层属性。它既包括使单个的资源（比如一个服务器，一个操作系统，一个应用程序，一个存储设备） 划分成多个虚拟资源，也包括将多个资源（比如存储设备或服务器）整合成一个虚拟资源。虚拟化 技术是指实现虚拟化的具体的技术性手段和方法的集合性概念。虚拟化技术根据对象可以分成存储 虚拟化、计算虚拟化、网络虚拟化等。计算虚拟化可以分为操作系统级虚拟化，应用程序级，和虚 拟机管理器。虚拟机管理器分为宿主虚拟机和客户虚拟机。 3333云计算的一些例子云计算的一些例子云计算的一些例子云计算的一些例子 GOOGLEGOOGLEGOOGLEGOOGLE云计算云计算云计算云计算 google AppEngine，google 的云计算的逻辑关系如下：gfs 实现存储，bigtable 实现结构化、 半结构化数据存储，map/reduce 实现将分布在各个节点上的计算和 merage 起来，剩下的就是进行 job 的管理器，管理工作的提交和触发，然后就是我们看到的 AppEngine了 AmazonAmazonAmazonAmazon 的的的的云计算云计算云计算云计算 Simple Queue Service（简单排列服务） Simple Storage Service（即 S3，简单的存储服务） Amazon Elastic Compute Cloud（弹性计算云，EC2、EBS ） Amazon Flexible Payments Service Amazon SimpleDB Amazon DevPay 与阿贵一起了解云计算 - 17 - S3+EC2 系统就是云计算的雏形 IBMIBMIBMIBM的云计算的云计算的云计算的云计算 与阿贵一起了解云计算 - 18 - 软的云计算软的云计算软的云计算软的云计算 其它形式的云计算其它形式的云计算其它形式的云计算其它形式的云计算 也许一个分布式的邮件系统就是一个云计算的雏形，那个分布在全球电脑上的寻找外星 et的屏 保也是一个云计算的平台，但寻找外星人的屏保不能简单类比企业应用的云计算。最直接的服务表 现形式上是相反的两个方向：云计算是集中、集成规模计算和储存能力，将计算和储存能力分散给 每个独立客户。而寻找外星 et 的屏保是集中分散开的计算和储存能力给某一个独立应用。这在运行 机制上恰好是相反的两个过程。 与阿贵一起了解云计算 - 19 - 4444云计算平台介绍云计算平台介绍云计算平台介绍云计算平台介绍 4444.1Readhat.1Readhat.1Readhat.1Readhat CloudCloudCloudCloud ComputingComputingComputingComputing云计算平台云计算平台云计算平台云计算平台 RedhatRedhatRedhatRedhat云计算的组成图云计算的组成图云计算的组成图云计算的组成图 Virtio:Virtio:Virtio:Virtio: virtio 是半虚拟化 hypervisor 中位于设备之上的抽象层。virtio 由 Rusty Russell 开发，他当时的目 的是支持自己的虚拟化解决方案 lguest 与阿贵一起了解云计算 - 20 - HailHailHailHail： 它能为研发人员提供云上的应用编程接口平台。据了解，Project Hail的目标是为研发人员提供低级 别的云服务，通过这些服务他们可以研发自己的云应用软件 DeltacloudDeltacloudDeltacloudDeltacloud： 它的目标是要在公有云和私有云内部构建一个研发人员，工具，脚本和应用软件组成的生态系统。 它拥有 RESTAPI特性，可以支持亚马逊弹性计算云和红帽的 Enterprise Virtualization (RHEV-M)。 VMware ESX hypervisor将来也在支持之列。 Libvirt:Libvirt:Libvirt:Libvirt: Libvirt 库是一种实现 Linux 虚拟化功能的 Linux®API，它支持各种虚拟机监控程序，包括 Xen 和 KVM，以及 QEMU 和用于其他操作系统的一些虚拟产品。本文主要探讨 libvirt 及其用途和架构。 讲到向外扩展计算（比如云计算），libvirt 可能是您从未听说过的最重要的库之一。libvirt 提供一种 虚拟机监控程序不可知的 API 来安全管理运行于主机上的来宾操作系统。libvirt 本身 不是一种工 具， 它是一种可以建立工具来管理来宾操作系统的 API。libvirt 本身构建于一种抽象的概念之上。 它为受支持的虚拟机监控程序实现的常用功能提供通用的 API。libvirt 起初是专门为 Xen 的 一种管理 API，后来被扩展为可支持多个虚拟机监控程序。 Virt-manager:Virt-manager:Virt-manager:Virt-manager: virt-manager其实是由 redhat支持维护的一个开源项目它提供了图型化和 shell工具管理 xen和 kvm， 与阿贵一起了解云计算 - 21 - 在使用 redhat 安装虚拟化 时 redhat 建议安装 yum install virt-manager libvirt libvirt-python python- virtinstyum Cobble:Cobble:Cobble:Cobble:网络安装套件，号称可以快速建立网络安装环境 FreeIPAFreeIPAFreeIPAFreeIPA：：：：FreeIPA 将功能强大的 Fedora 目录服务器、FreeRaDIUS、MIT Kerberos、NTP和 DNS组 合到一起 Augeas AugeasAugeas Augeas：是一个配置编辑工具并提供了配置读写的 API接口 CondorCondorCondorCondor是为计算密集任务所设计的专用负载管理系统，提供任务队列机制、调度策略、优先级规划 和资源监控及管理 Corosync CorosyncCorosync Corosync：是基于 OpenAIS构建的集群引擎，可替代 heartbeat进行心跳检测 RedRedRedRed HatHatHatHat 云计算的组成云计算的组成云计算的组成云计算的组成 包括四个子层：存储云，系统云，元数据云，应用云 包括六个部分：存储，服务器/操作系统/网络，元数据库，应用管理（云管理平台、云软件管理平 台和用户自助服务平台），运营（帐单、认证、用户管理系统） 与阿贵一起了解云计算 - 22 - 与阿贵一起了解云计算 - 23 - RedhatRedhatRedhatRedhat云计算管理平台云计算管理平台云计算管理平台云计算管理平台 功能清单如下：功能清单如下：功能清单如下：功能清单如下： 实现云平台各种对资源的统一管理和虚拟机管理实现云平台各种对资源的统一管理和虚拟机管理实现云平台各种对资源的统一管理和虚拟机管理实现云平台各种对资源的统一管理和虚拟机管理 基于基于基于基于KVMKVMKVMKVM技术技术技术技术 数据中心划分（硬件资源划分）数据中心划分（硬件资源划分）数据中心划分（硬件资源划分）数据中心划分（硬件资源划分） 网络划分网络划分网络划分网络划分 集群划分集群划分集群划分集群划分 虚拟机创建虚拟机创建虚拟机创建虚拟机创建 虚拟机高可用性配置：虚拟机高可用性配置：虚拟机高可用性配置：虚拟机高可用性配置：持续监控主机系统和虚拟机，虚拟机可以手动在线迁移到备份主机，如果主 机失效，虚拟机会自动重启，在集群里面的其它节点上启动虚拟机，根据策略设置来重新启动虚拟 机，不需要用户干预，当服务器恢复以后，通过实时迁移可以，把虚拟机迁移到最初运行的服务器 上 虚拟机在线迁移：虚拟机在线迁移：虚拟机在线迁移：虚拟机在线迁移：主机间在线动态迁移虚拟机，服务不中断，应用连续运行，迁移同样适合于高密 与阿贵一起了解云计算 - 24 - 集型 IO 处理（如数据库），主机服务器间实现负载动态平衡，方便于主机维护 云平台中心服务器电源管理云平台中心服务器电源管理云平台中心服务器电源管理云平台中心服务器电源管理(power(power(power(power saving)saving)saving)saving)  云平台资源平衡：云平台资源平衡：云平台资源平衡：云平台资源平衡：动态进行资源负载调整，通过在线迁移虚拟机实现，设定自己的分布规则 云平台监控、日志，电源节省管理 功能服务器模板创建：功能服务器模板创建：功能服务器模板创建：功能服务器模板创建：基于模板快速布署虚拟机，手工、自动从现有虚拟机，不同介质，网络创建 虚拟机/功能服务器虚拟模板，虚拟机快照，虚拟机映像的备份与恢复，虚拟机模板库管理 资源回收、再利用：资源回收、再利用：资源回收、再利用：资源回收、再利用： 用户自助服务系统用户自助服务系统用户自助服务系统用户自助服务系统(C3M)(C3M)(C3M)(C3M)：：：：基于 Web 浏览器的访问云计算平台的接口工具，可以实现用户自管理（注 册，编辑，删除，多级别用户帐号管理），用户 VM虚拟主机管理 (新增，删除，启动，关机，重启）， Vm 虚拟主机模板选择（软件、硬件），虚拟机系统登录，报表（使用状况，账单等），事件日志管理 ， 账单系统 ，mysql+tomcat+jdk+jasper RedhatRedhatRedhatRedhat 云计算中用到的主要软件：云计算中用到的主要软件：云计算中用到的主要软件：云计算中用到的主要软件： 云计算平台中心 Red Hat Enterprise Linux Server (集成 kvm 模块） 与阿贵一起了解云计算 - 25 - Red Hat Virtualization Management Red Hat Network Satellite Server Red Hat C3M (Client Cloud Computing Management)  Red Hat MetaMatrix Red Hat JEAP/SOA Red Hat HPCC Red Hat Directory Server OpenVPN / HW VPN Red Hat Exchange(zmanda,jasper,Alfresco,SugarCRM,Zimbra,etc)  客户端 IE/Firfox Browser vpnclient vnc/ssh/windows terminal RedhatRedhatRedhatRedhat云计算的一些案例：云计算的一些案例：云计算的一些案例：云计算的一些案例： 与阿贵一起了解云计算 - 26 - 与阿贵一起了解云计算 - 27 - 4444.2Vmare.2Vmare.2Vmare.2Vmare vCloudvCloudvCloudvCloud云计算平台云计算平台云计算平台云计算平台 VMwareVMwareVMwareVMware 云计算定义云计算定义云计算定义云计算定义 • 轻量级的进入/退出服务获得模式 • 基于资源消耗量的付费模式 • 可采用标准互联网所访问 • 有弹性，可伸缩的 • 能由共享基础设施带来经济效益 VmwareVmwareVmwareVmware的云策略的云策略的云策略的云策略 与阿贵一起了解云计算 - 28 - vCloudvCloudvCloudvCloud模块组成模块组成模块组成模块组成 4444.3.3.3.3其它开源的云计算平台其它开源的云计算平台其它开源的云计算平台其它开源的云计算平台 开源的虚拟服务器平台开源的虚拟服务器平台开源的虚拟服务器平台开源的虚拟服务器平台 XEN: 与阿贵一起了解云计算 - 29 - KVM: 开源的虚拟化管理系统开源的虚拟化管理系统开源的虚拟化管理系统开源的虚拟化管理系统 Convirt: 与阿贵一起了解云计算 - 30 - Virt-manager: 开源的公有云/私有云互操作平台 Deltacloud:Deltacloud:Deltacloud:Deltacloud: 与阿贵一起了解云计算 - 31 - Nimbus:Nimbus:Nimbus:Nimbus: OpenNebula:OpenNebula:OpenNebula:OpenNebula: 另外还有下面的一些开源的项目： 1. Enomalism (http://www.enomaly.com/) 云计算平台。Enomalism 是一个开放源代码项目，它提 供了一个功能类似于 EC2 的云计算框架。Enomalism 基于 Linux，同时支持 Xen 和 Kernel 与阿贵一起了解云计算 - 32 - Virtual Machine(KVM)。Enomalism 提供了一个基于 TurboGears Web 应用程序框架和 Python 的 软件栈。 2. Euclyptus (http://eucalyptus.cs.ucsb.edu/) 项 目 (Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems)是 Amazon EC2 的一个开源实现， 它与商业服务接口兼容。和 EC2 一样，Eucalyptus 依赖于 Linux 和 Xen 进行操作系统虚拟化。 Eucalyptus 是加利福尼亚大学(Santa Barbara)为进行云计算研究而开发的。您可以从该大学的网 站上下载它，或者通过 Eucalyptus Public Cloud 体验它，不过后者有一些限制。 3. AppDrop (http://appdrop.com/) Google App Engine (GAE) 的开放源码克隆版， 提供与 GAE 同样的接口。这意着你可以在 Euclyptus上提供类似 GAE 的服务。 （网站已失效） 4. 10Gen (http://www.10gen.com/) 它既是一个云平台，又是一个可下载的开放源代码包，可用于 创建您自己的私有云。10gen 是类似于 App Engine 的一个软件栈，它提供与 App Engine 类似的 功能 — 但有一些不同之处。通过 10gen，可以使用 Python 以及 JavaScript. 和 Ruby 编程语言 开发应用程序。该平台还使用沙盒概念隔离应用程序，并且使用它们自己的应用服务器的许多计算 机(当然，是在 Linux 上构建)提供一个可靠的环境。 开源的虚拟化工具开源的虚拟化工具开源的虚拟化工具开源的虚拟化工具 Libvirt:Libvirt:Libvirt:Libvirt: 与阿贵一起了解云计算 - 33 - Virt-v2v:Virt-v2v:Virt-v2v:Virt-v2v: 开源的文件集群系统开源的文件集群系统开源的文件集群系统开源的文件集群系统 与阿贵一起了解云计算 - 34 - 源的源的源的源的PaaSPaaSPaaSPaaS平台平台平台平台 开源的基础设施监控项目开源的基础设施监控项目开源的基础设施监控项目开源的基础设施监控项目 Zabbix，Nagios，OpenNMS，Cacti，Collectd，GroundWork，Hyperic，ZenOSS，Pancho 与阿贵一起了解云计算 - 35 - 源的数据库项目源的数据库项目源的数据库项目源的数据库项目 与阿贵一起了解云计算 - 36 - 开源的系统管理工具开源的系统管理工具开源的系统管理工具开源的系统管理工具 与阿贵一起了解云计算 - 37 - 5555云计算的关键技术云计算的关键技术云计算的关键技术云计算的关键技术 数据存储技术数据存储技术数据存储技术数据存储技术 为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的 方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大 量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高 传输率的特点。 云计算的数据存储技术主要有谷歌的非开源的GFS（Google File System）和 Hadoop 开发团队 开发的GFS的开源实现HDFS（Hadoop Distributed FileSystem）。大部分IT厂商，包括yahoo、Intel 的“云”采用的都是HDFS的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加 密和安全性保证、以及继续提高I/O速率等方面。 数据管理技术数据管理技术数据管理技术数据管理技术 云计算系统对大数据集进行处理、分析向用户提供高效的服务。因此，数据管理技术必须能够 高效的管理大数据集。其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术 所必须解决的问题。 云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的 更新频率，云中的数据管理是一种读优化的数据管理。因此，云系统的数据管理往往采用数据库领 域中列存储的数据管理模式。将表按列划分后存储。云计算的数据管理技术最著名的是谷歌的 BigTable数据管理技术，同时Hadoop开发团队正在开发类似BigTable的开源数据管理模块。由于采 用列存储的方式管理数据，如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理 技术必须解决的问题。 编程模式编程模式编程模式编程模式 为了使用户能更轻松的享受云计算带来的服务，让用户能利用该编程模型编写简单的程序来实 现特定的目的，云计算上的编程模型必须十分简单。必须保证后台复杂的并行执行和任务调度向用 户和编程人员透明。 云计算采用类似MAP-Reduce的编程模式。现在所有IT厂商提出的“云”计划中采用的编程模型， 与阿贵一起了解云计算 - 38 - 都是基于MAP-Reduce的思想开发的编程工具。MAP-Reduce不仅仅是一种编程模型，同时也是一种高 效的任务调度模型。Map-Reduce这种编程模型并不仅适用于云计算，在多核和多处理器、 cellprocessor、以及异构机群上同样有良好的性能。 该编程模式仅适用于编写任务内部松耦合、能够高度并行化的程序。如何改进该编程模式，使 程序员得能够轻松的编写紧耦合的程序，运行时能高效的调度和执行任务，是Map-Reduce编程模型 未来的发展方向。 6666如何自己搭建云计算环境如何自己搭建云计算环境如何自己搭建云计算环境如何自己搭建云计算环境 基于基于基于基于EucalyptusEucalyptusEucalyptusEucalyptus 1.首先到 https://mayhem9.cs.ucsb.edu:8443/ (因为证书的问题，你需要添加一个例外，我这里 使用的是 FireFox,不知道其他的浏览器是否有同样的问题)。 2. 之后你就能看到 3.注册后，拿到帐号，check 下 email，然后就可以登录了。下一步，点击 Download Certificate 下载。(虽然我现在不知道这个是干什么的。) 与阿贵一起了解云计算 - 39 - 4。找到文档 http://open.eucalyptus.com/wiki/EucalyptusPrerequisites_v1.5.2 看看安装前需 要准备什么。 5。去 http://open.eucalyptus.com/downloads 下载一个安装包。我使用的是 centos5.3 6.解压缩后进入那个解压的目录。这步可以以后再做。 7。添加各种可能需要的包： view plaincopy to clipboardprint? 1 //为了 和让时钟同步 2 yum install -y ntp 3 ntpdate pool.ntp.org 4 //安装 xen 虚拟机 5 yum install -y xen 6 sed --in-place 's/#(xend-http-server no)/(xend-http-server yes)/' /etc/xen/xend-config.sxp 7 sed --in-place 's/#(xend-address localhost)/(xend-address localhost)/' /etc/xen/xend-config.sxp 8 /etc/init.d/xend restart 9 //为了让 Eucalyptus 正常运行 10 yum install -y java-1.6.0-openjdk ant ant-nodeps dhcp bridge-utils 然后开放 firewall 的端口,输入：system-config-securitylevel 我只是开放了端口8443, 8773, 8774 ,8775四个端口。传说对于前端前三个端口是必须开的。对于 Node 来说8775是必须开的。但是 Eucalyptus 建议：最好把全部的防火墙都关了 吧。可见这个项目仅仅是实现 了云，但是对于云的安全性尚没有考虑。 8。这里前端要安装的命令如下：（这里所说的前端是指和用户打交道的一个 PC,node 可以看作是集 群中的一个节点），以下命令中的 x86_64可 以替换。我安装时就使用的586. 安装云的命令中 x86_64 有的又变为 i386.不过不管怎样。似乎是把里面的 rpm 包都安装完即可。 与阿贵一起了解云计算 - 40 - view plaincopy to clipboardprint? 11 //安装 第三方软件 12 cd eucalyptus-1.5.2-rpm-deps-x86_64 13 rpm -Uvh aoetools-21-1.el4.x86_64.rpm \ 14 euca-axis2c-1.5.0-2.x86_64.rpm \ 15 euca-rampartc-1.2.0-1.x86_64.rpm \ 16 vblade-14-1mdv2008.1.x86_64.rpm 17 cd .. 18 //安装云 19 rpm -Uvh eucalyptus-1.5.2-1.x86_64.rpm \ 20 eucalyptus-cloud-1.5.2-1.x86_64.rpm \ 21 eucalyptus-gl-1.5.2-1.x86_64.rpm \ 22 eucalyptus-cc-1.5.2-1.x86_64.rpm 9。Node 要安装的包 view plaincopy to clipboardprint? 23 cd eucalyptus-1.5.2-rpm-deps-x86_64 24 rpm -Uvh aoetools-21-1.el4.x86_64.rpm \ 25 euca-axis2c-1.5.0-2.x86_64.rpm \ 26 euca-rampartc-1.2.0-1.x86_64.rpm \ 27 euca-libvirt-1.5-1.x86_64.rpm \ 28 vblade-14-1mdv2008.1.x86_64.rpm view plaincopy to clipboardprint? 29 //安装 node controller 30 rpm -Uvh eucalyptus-1.5.2-1.x86_64.rpm \ 31 eucalyptus-gl-1.5.2-1.x86_64.rpm \ 32 eucalyptus-nc-1.5.2-1.x86_64.rpm