September 2010 Archives

【分享】搭建hadoop集群注意事项

    Hadoop版本:0.20.2
    系统平台:RHEL4.6 x86_64 & RHEL5.3 x86_64 & RHEL4.6 i686
 
   首先遇到的问题是:
org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI
发现hdfs不能使用含有下划线的字符主机名,修改主机名后正常;一般主机名为[A-Za-z\-]。
    再次遇到的问题是:
org.apache.hadoop.mapred.TaskTracker: Shutting down. Incompatible buildVersion.
然而系统的hadoop版本是一致的,经过查找发现是在不同的机器上编译过,在 ./build/src/org/apache/hadoop/package-info.java 文件中,有一个编译的日期date,如果hadoop集群上这个时间不同,就会导致版本不一致,当时就晕倒中。
    最后还是搞定了hadoop的分布式部署,运行:
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
得到了正确的结果。




非root环境下安装RPM包

rhel4.6 其他用户安装rpm包:

1. 用户根目录下新建目录rpm,以cnangel用户为例, mkdir ~/rpm
2. cd ~/rpm && mkdir -p var/lib/rpm && mkdir -p var/lock/rpm
3. rpm --initdb --root ~/rpm/ 将该目录设为根
4. touch ~/.rpmmacros ,文件里添加: %_rpmlock_path /home/cnangel/rpm/var/lock/rpm/transaction
5. rpm -ivh --nodeps foo.rpm --dbpath ~/rpm/var/lib/rpm --prefix ~/usr/
--nodeps: 用了用户自己的rpm数据库会找不到系统的东东
--dbpath: 指定用户rpm数据库路径


rhel5.3 其他用户安装rpm包:

1. 用户根目录下新建目录rpm,以cnangel用户为例, mkdir ~/rpm
2. rpm --rebuilddb --dbpath /home/cnangel/rpm/var/lib/rpm
3. mkdir -p ~/rpm/var/lib/rpm
4. rpm -ivh --nodeps foo.rpm --dbpath ~/rpm/var/lib/rpm --prefix ~/usr/

Archives

Pages

Powered by Movable Type 7.0.4

April 2019

Sun Mon Tue Wed Thu Fri Sat
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30        
Creative Commons License
This blog is licensed under a Creative Commons License.

About this Archive

This page is an archive of entries from September 2010 listed from newest to oldest.

August 2010 is the previous archive.

October 2010 is the next archive.

Find recent content on the main index or look in the archives to find all content.