本文实例环境:
Ubuntu14.0.4、Hadoop 2.7.2
运行在本地模式
一、Hadoop 2.x 版本中的依赖 jar
Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-core*.jar 中,而是分成多个 jar,如使用 Hadoop 2.6.0 运行 WordCount 实例至少需要如下三个 jar:
$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar
$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar
实际上,通过命令 hadoop classpath 我们可以得到运行 Hadoop 程序所需的全部 classpath 信息。
二、编译、打包 Hadoop MapReduce 程序
我们要将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中,在 ~/.bashrc 中增加如下几行:
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
另外:这里我是将整个hadoop classpath(就是把执行此命令后的输出的全部内容)的内容添加到CLASSPATH中:
必须要把以上两个变量加到~/.bashrc文件中,保存后,别忘了执行 source ~/.bashrc 使变量生效。
1、编译:通过 javac 命令编译 WordCount.java :
cb@Standalone14:~/Documents/javaT$ ls
WordCount.java
cb@Standalone14:~/Documents/javaT$ javac WordCount.java
cb@Standalone14:~/Documents/javaT$ ls
WordCount.class WordCount$IntSumReducer.class WordCount.java WordCount$TokenizerMapper.class
2、打包:把 .class 文件打包成 jar:
cb@Standalone14:~/Documents/javaT$ jar -cvf WordCount.jar ./WordCount*.class
added manifest
adding: WordCount.class(in = 1943) (out= 1013)(deflated 47%)
adding: WordCount$IntSumReducer.class(in = 1793) (out= 751)(deflated 58%)
adding: WordCount$TokenizerMapper.class(in = 1790) (out= 765)(deflated 57%)
cb@Standalone14:~/Documents/javaT$ ls
WordCount.class WordCount$IntSumReducer.class WordCount.jar WordCount.java WordCount$TokenizerMapper.class
3、执行:执行jar文件中的MapReduce程序:
cb@Standalone14:~/Documents/javaT$ hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount input output
注意说明:
1)、运行MapReduce程序时,需要使用类的命名。
2)、MapReduce的输入,是HDFS上的文件。
3)、MapReudce的输出目录,在HDFS上没有该文件夹。
4、查看结果:
cb@Standalone14:~/Documents/javaT$ hadoop dfs -cat /user/cb/output/part-r-00000
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
echo 1
game 1
of 1
rainbow 1
the 2
waitting 1