云计算应用

云计算应用 Hadoop云计算平台实验 实验目标 1. 掌握hadoop安装过程; 2. 理解hadoop工作原理; 3. 分别在单机模式和伪分布式模式配置下测试hadoop系统。 实验原理 Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架。可以在大量廉价的硬件设备组成集群上运行应用程序。Hadoop框架最核心的设计就是:MapReduce和HDFS。MapReduce是一种算法执行方式，简单解释来说就是“任务的份简介与结果的汇总”，而HDFS是hadoop分布式文件系统，为分布式计算、存储提供了底层支持。 实验过程 (一)实验环境 实现此次hadoop云计算平台的实验是通过虚拟平台来仿真云计算系统分布式运行的工作模式的。首先安装虚拟机VMwave，并将Ubuntu操作系统安装在VMwave虚拟机下。 (二)单机模式 1、为保证安全，不直接使用root进行实验操作，首先切换到root用户添加新的用户liuss。如下图所示。 1 错误点:可以看出，第一步就发生了问题，原因是我分别创建了两个用户组hadoop和liuss，但在创建其中的用户时却只有一个hadoop，也就是一个用户却分属两个用户组，导致我发生错误。解决办法是找出用户所在目录并删除用户，并重新创建用户liuss。在root用户下输入sudo vim etc sudoer进入vi编辑器为刚创建的用户liuss设置权限，如权限不够会导致诸多操作受阻。 2、su liuss切换到用户liuss下进行实验操作。由于hadoop使用ssh进行通信，先安装ssh并启动服务。查看服务是否正确启动。 作为一个安全通信协议，ssh允许使用私钥-公钥进行身份验证，这里将私钥-公钥设置为不需密码直接登录的形式，在选择输入密码是直接按Enter键即可。并输入ssh localhost进行验证是否可以直接登录。 2 错误点:输入命令行ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa,之前有在操作过这个命令，一直提示命令无效，主要原因其实很搞笑，是因为两个单引号我输入成了双引号。在他人的指导下，用其他的方式完成了这次操作。 3 3、安装jdk文件，安装完后一定要检查版本信息是否安装成功。 下图是切换到root用户查看java的安装路径。 4、接下来可以安装hadoop了，将hadoop的压缩文件hadoop-0.20.2移动到固定的目录里，并进行解压安装。 错误点:此处使用解压命令时提示没有该压缩文件，原因是因为解压的路径不对，/usr/local无法访问该压缩文件，我用cd hadoop-0.20.2/confs转移到confs目录下就可成功解压了。 4 5、修改JAVA_HOME的路径，依然在usr/local/hadoop-0.20.2/conf 目录下进行操作。输入vim hadoop-env.sh进入vi编辑器对JAVA_HOME的路径信息进行设置。 此处需要注意的是vi编辑器的用法，直接输入i进入编辑环境，左下角显示的是insert提示，输入完毕，退出编辑模式，输入:wq～即为保存并退出到原先的操作模式中。接着输入命令行source hadoop-env.sh让环境变量配置生效。 6、接下来可以试着运行一下实例了，我在这使用了hadoop自带的例子wordcount来试试MapReduce。首先在liuss目录下新建文件夹，此处需要用cd ..来逐次返回到liuss路径下。 错误点:此处很容易看出新建文件夹时拒绝访问，添加sudo后操作成功。 接下来将conf文件夹的文件全部复制到input目录里，并查看hadoop-0.20.2目录下的文件，选择需要运行的wordcount程序，在output文件夹中保存结果。下图为相关yunx结果，可以输入cat output/*查看结果。 。 5 错误点:此处在实验过程中出现了一个很明显的错误，就是在运行程序并保存结果到output文件夹中时，运行结果报错，大部分是Exception……(java xxxx)，究其原因是因为我在安装jdk时，直接将别的用户组里的压缩文件移动到我自己的用户文件里，然后进行解压安装在jvm文件夹里，但是后来报错后再去查看时，却没有我安装的文件，事实上我只借用了别的用户已经解压过了的jdk进行安装，而在liuss用户里没有生成我自己的，运行当然不成功。解决办法是，我拷贝了一份压缩文件到自己的文件里，再次进行安装。 (三)伪分布模式 1、伪分布模式我按照老师给的hadoop配置文件进行了实验。第一步当然是编辑文件core-site.xml，输入vim conf/core - site.xml进入vi编辑器进行编辑。 6 2、编辑hdfs-site.xml文件 3、编辑mapred-site.xml 4、此处需要确认能否不输入口令就用ssh登录localhost在单机模式就已经确认过，在此不再赘述。接下来进行格式化一个新的分布式系统。 7 错误点:此过程中有时会出现namenode格式化过程失败，会提示Re-format，我在网上查的解决办法是将/tmp下的hadoop开关的临时文件删除并把/hadoop.tmp.dir目录清空。但是没有效果，我跳转到root用户，进行格式化，输入此命令后成功。 5、启动hadoop守护进程，输入bin/start-all.sh，然后将输入文件拷贝到分布式系统文件。 6、运行示例程序，bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'，下面是运行结果。 7、将输出文件从分布式文件系统拷贝到本地文件系统查看，然后再 8 次输入cat output/*，查看输出文件。 8、完成全部操作后，停止守护进程。输入bin/stop-all.sh，系统会停止进程。stopping jobtracker 以及stopping namenode。经过实验发现，如果前面的各种配置不成功就得不到正确的结果，当然如果按照正确的实验步骤，就可以成功。 (四)Socket通信(c语言实现) 输入ifconfig，显示通信结果如下图: 9 实验结论 经过短暂的5周的实验时间，我对Hadoop这个开源的云计算平台从一无所知了解到了它的一部分性质，通过资料查阅对它的扩展性、稳定性和可靠性等方面进行了简单的了解。由于我没有操作linux系统的经验，在实验中颇为吃力，对错误的导向和定位非常不熟悉，判断和修改的能力很差，但在同学和老师的帮助下完成了此次实验，当然，还有很多学习和进步的空间，实验只是一些非常简单的操作，我还需要好好的学习和研究。 10