Hadoop版本:0.20.2
系统平台:RHEL4.6 x86_64 & RHEL5.3 x86_64 & RHEL4.6 i686
首先遇到的问题是:
再次遇到的问题是:
最后还是搞定了hadoop的分布式部署,运行:
系统平台:RHEL4.6 x86_64 & RHEL5.3 x86_64 & RHEL4.6 i686
首先遇到的问题是:
org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI发现hdfs不能使用含有下划线的字符主机名,修改主机名后正常;一般主机名为[A-Za-z\-]。
再次遇到的问题是:
org.apache.hadoop.mapred.TaskTracker: Shutting down. Incompatible buildVersion.然而系统的hadoop版本是一致的,经过查找发现是在不同的机器上编译过,在 ./build/src/org/apache/hadoop/package-info.java 文件中,有一个编译的日期date,如果hadoop集群上这个时间不同,就会导致版本不一致,当时就晕倒中。
最后还是搞定了hadoop的分布式部署,运行:
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'得到了正确的结果。