hadoop离线配置
Hadoop 离线配置
一 配置环境
VMware Workstation 7.1
ubuntu 10.10 amd64.iso
两台 ubuntu10.10 x64 的虚拟机
指定 namnode 192.168.174.128 用户 damon
datanode 192.168.174.129 用户 damon
二 配置步骤
1 使用 VMware Workstation 安装 ubuntu10.10 64bit ...
Hadoop 离线配置
一 配置环境
VMware Workstation 7.1
ubuntu 10.10 amd64.iso
两台 ubuntu10.10 x64 的虚拟机
指定 namnode 192.168.174.128 用户 damon
datanode 192.168.174.129 用户 damon
二 配置步骤
1 使用 VMware Workstation 安装 ubuntu10.10 64bit 过程略去
2 下载 jdk-6u27-linux-x64.bin 和 hadoop-0.20.203.0rc1.tar.gz
3 安装 jdk(注意由于 ubuntu 是 64bit,应下载 64bit 的 java 虚拟机)
#chmod a+x jdk-6u27-linux-x64.bin
#./ jdk-6u27-linux-x64.bin
#mv jdk1.6 /usr/
4 配置环境变量
1) 在/etc/profile 中最后添加
export JAVA_HOME=/usr/jdk1.6
export JRE_HOME=/usr/jdk1.6/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
2) 解压 tar xzvf hadoop-0.20.203.0rc1.tar.gz
把 Hadoop 的安装路径也添加到/etc/profile 中
export HADOOP_HOME=/home/damon/software/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
为使环境变量生效执行#source /etc/profile
#set
验证 java 环境变量
# java -version
damon@namenode:~/software$ java -version
java version "1.6.0_27"
Java(TM) SE Runtime Environment (build 1.6.0_27-b07)
Java HotSpot(TM) 64-Bit Server VM (build 20.2-b06, mixed mode)
5 建立信任关系(一般 ubuntu 现在默认都含有 ssh 服务,启动
#/etc/init.d/ssh start)
在 NameNode 上
1[damon@namenode]#ssh-keygen -t rsa
会在 damon 目录(当前登录用户)下的.ssh 目录下生成 id_rsa
id_rsa.pub 两个文件
#cd ~/.ssh/
#cat id_rsa.pub >> authorized_keys
然后使用 scp 将此 authorized_keys 拷贝到 datanode 节点
scp authorized_keys damon@192.168.174.129:/home/damon/.ssh/
测试信任关系,登录到 datanode 上,ssh 到 namenode 不需要输入
密码即为成功
6 配置 hadoop
配置 hadoop 的 conf 目录下的配置文件
1)core-site.xml
fs.default.name
hdfs://namenode:8020
2)hdfs-site.xml
dfs.replication
1
3)mapred-site.xml
mapred.job.tracker
namenode:8021
4) hadoop-env.sh
配置其中的 export JAVA_HOME=/usr/jdk1.6
5) 配置 masters 和 slaves 文件
masters
为 namenode
slaves 内容为 datanode
6 ) 将 配 置 好 的 hadoop 目 录 scp 到 datanode 相 应 的
/home/damon/software/目录下
7 配置 hostname 和 hosts 文件
分别修改/etc/目录下的 hostname 和 hosts 的内容
1)hostname
192.168.174.128 hostname 配置为 namenode
192.168.174.129 hostname 配置为 datanode
2)192.168.174.128 hosts 内容为
192.168.174.128 namenode # Added by
NetworkManager
192.168.174.129 datanode
192.168.174.129 hosts 内容为
192.168.174.129 datanode # Added by NetworkManager
192.168.174.128 namenode
把里面的 127.0.0.1 相关的内容都删掉,否则会出现 INFO
org.apache.hadoop.ipc.Client: Retrying connect to server 的问题(出现
这种问题,ps -aux|grep 8020 可以看出来默认的请求 127.0.0.1 而不
是 namenode 的 8020 端口,所以要删掉 hosts 中关于 127.0.0.1 的内
容)
8 启动 hadoop
1)在 namenode 上 hadoop 的 bin 目录下
./hadoop namenode -format 格式化 namenode 节点
2)./start-all.sh 启动 hadoop
使用 links http://192.168.174.128:50070 或者 ./hadoop -dfsadmin
-report
观察 hadoop 情况
#./hadoop -dfsadmin -report
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Name: 192.168.174.129:50010
Decommission Status : Normal
Configured Capacity: 8041205760 (7.49 GB)
DFS Used: 73728 (72 KB)
Non DFS Used: 6991699968 (6.51 GB)
DFS Remaining: 1049432064(1000.82 MB)
DFS Used%: 0%
DFS Remaining%: 13.05%
Last contact: Sun Sep 11 19:41:35 CST 2011
3)简单使用
a)拷贝本用户目录下的 baidu 文件夹到 hadoop 的 hdfs 上
hadoop dfs -copyFromLocal /home/damon/baidu baidu
b) 查看 hadoop 上的已拷贝的 baidu 文件夹
damon@namenode:~/software/hadoop-0.20.2/bin$ ./hadoop dfs -ls
Found 1 items
drwxr-xr-x - damon supergroup 0 2011-09-11 15:51
/user/damon/baidu
后续:
上述是我在配置 hadoop 中的一些记录,可供大家参考,如有问题欢
迎指出,谢谢
本文档为【hadoop离线配置】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑,
图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。