【分享】搭建hadoop集群注意事项

    Hadoop版本:0.20.2
    系统平台:RHEL4.6 x86_64 & RHEL5.3 x86_64 & RHEL4.6 i686
 
   首先遇到的问题是:
org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI
发现hdfs不能使用含有下划线的字符主机名,修改主机名后正常;一般主机名为[A-Za-z\-]。
    再次遇到的问题是:
org.apache.hadoop.mapred.TaskTracker: Shutting down. Incompatible buildVersion.
然而系统的hadoop版本是一致的,经过查找发现是在不同的机器上编译过,在 ./build/src/org/apache/hadoop/package-info.java 文件中,有一个编译的日期date,如果hadoop集群上这个时间不同,就会导致版本不一致,当时就晕倒中。
    最后还是搞定了hadoop的分布式部署,运行:
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
得到了正确的结果。




Monthly Archives

Pages

Powered by Movable Type 7.7.2

About this Entry

This page contains a single entry by Cnangel published on September 20, 2010 7:39 PM.

非root环境下安装RPM包 was the previous entry in this blog.

Git 分布式开发研究 is the next entry in this blog.

Find recent content on the main index or look in the archives to find all content.