September 2010 Archives

    Hadoop版本：0.20.2
    系统平台：RHEL4.6 x86_64 & RHEL5.3 x86_64 & RHEL4.6 i686
 
   首先遇到的问题是：

org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI

发现hdfs不能使用含有下划线的字符主机名，修改主机名后正常；一般主机名为[A-Za-z\-]。
    再次遇到的问题是：

org.apache.hadoop.mapred.TaskTracker: Shutting down. Incompatible buildVersion.

然而系统的hadoop版本是一致的，经过查找发现是在不同的机器上编译过，在 ./build/src/org/apache/hadoop/package-info.java 文件中，有一个编译的日期date，如果hadoop集群上这个时间不同，就会导致版本不一致，当时就晕倒中。
    最后还是搞定了hadoop的分布式部署，运行：

bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

得到了正确的结果。

rhel4.6 其他用户安装rpm包:

1. 用户根目录下新建目录rpm，以cnangel用户为例, mkdir ~/rpm
2. cd ~/rpm && mkdir -p var/lib/rpm && mkdir -p var/lock/rpm
3. rpm --initdb --root ~/rpm/  将该目录设为根
4. touch ~/.rpmmacros ,文件里添加: %_rpmlock_path   /home/cnangel/rpm/var/lock/rpm/transaction
5. rpm -ivh --nodeps foo.rpm --dbpath ~/rpm/var/lib/rpm --prefix ~/usr/
   --nodeps: 用了用户自己的rpm数据库会找不到系统的东东
   --dbpath: 指定用户rpm数据库路径


rhel5.3 其他用户安装rpm包:

1. 用户根目录下新建目录rpm，以cnangel用户为例, mkdir ~/rpm
2. rpm --rebuilddb  --dbpath /home/cnangel/rpm/var/lib/rpm
3. mkdir -p ~/rpm/var/lib/rpm
4. rpm -ivh --nodeps foo.rpm --dbpath ~/rpm/var/lib/rpm --prefix ~/usr/