红联Linux门户
Linux帮助

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

发布时间:2016-03-28 16:17:18来源:linux网站作者:愿你成为自己的太阳

起先我是在win7 64位上远程连接hadoop运行wordcount程序的,但是这总是需要网络,考虑到这一情况,我决定将这个环境转移到unbuntu上


需要准备的东西

一个hadoop的jar包,一个连接eclipse的插件(在解压的jar包里有这个东西),一个hadoop-core-*.jar(考虑到连接的权限问题)

一个eclipse的.tar.gz包(其它类型的包也可以,eclipse本身就是不需要安装的,这里就不多说了)

因为我之前在win7上搭建过这个环境,所以一切很顺利,但还是要在这里记录一下。


1,把插件拷贝到eclipse的plugins目录下面,会出现如下所示的图标,同时将hadoop-core-*.jar拷贝到hadoop的安装目录下面

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

这里要说一点hadoop-core-*.jar这个jar包中的FileUtil类限制了权限,要反编译,进行修改,然后重新编译成这个jar包,可以使用反编译工具

这里我并没有尝试,是直接从网上下载的修改过后的jar包


2,在eclipse中配置hadoop的安装位置

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序


3,在eclipse中配置mapreduce

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

我发现9001这个端口配不配,DFS都可以连接成功,但最好配置一下吧

ubuntu1是我运行hadoop的主机名,这里也可以换成ip地址来替代,

开启hadoop之后可以进行刷新,如图所示

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序


4,接下来就可以运行wordcount程序了,网上有好多例子,这里,我只想说两点,注意参数,例如

hdfs://192.168.1.200:9000/feng/hello.txt hdfs://192.168.1.200:9000/feng_out

注意输出目录一定是不存在的,如果存在会报错的

起先我没有加前面的ip地址,一直报错,我在网上查了一下,以为是用户权限不够的问题,就提高普通用户的权限,后来发现不是,是地址的问题。


若有错误,欢迎指正。


本文永久更新地址:http://www.linuxdiyf.com/linux/19332.html