1.环境准备
Ubuntu-16.04
JDK-1.8.0_71
Maven-3.3.9
Hue-3.11.0
Hadoop-2.7.1
Hive-2.0
Python-2.7
2.Hue安装
2.1 安装环境依赖
根据官方网站的说明 How to build Hue on Ubuntu 14.04 Trusty(http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/) 进行前期环境配置,安装git等工具,使用命令apt-get install安装各种依赖工具,详细列表参照GitHub上的Development Prerequisites(https://github.com/cloudera/hue)
2.2 安装Maven
从Downloading Apache Maven 3.3.9(http://maven.apache.org/download.cgi) 下载Maven源代码,解压后在/etc/profile中配置Maven的环境变量,添加如下部分:
#set maven environment
MAVEN_HOME=/home/cuihaolong/maven
PATH=$PATH:$MAVEN_HOME/bin
export MAVEN_HOME PATH
使用命令mvn -version测试是否安装成功
2.3 安装Hue
从GitHub下载hue-3.11.0,解压后进入目录中,使用命令make apps安装hue,安装过程中可能遇到的问题参照Ubuntu下配置Hue的各种问题(http://www.linuxdiyf.com/linux/23514.html) 解决
注:经过测试,ubuntu系统下对hue-3.10.0、hue3.9.0、hue-3.8.0、hue-3.7.1、hue-3.7.0均无法成功安装,只有hue-3.11.0能够成功安装
1274 static files copied to '/home/cuihaolong/hue-release-3.11.0/build/static', 1274 post-processed.
make[1]: Leaving directory '/home/cuihaolong/hue-release-3.11.0/apps'
说明成功安装,使用命令./build/env/bin/hue runserver运行hue服务,在浏览器中输入127.0.0.1:8000即可访问Hue主页
第一次访问Hue主页需要创建账户,并设置密码,以后就用该账户访问Hue
3.环境配置
3.1 Hadoop配置
Hue 可以通过下面两种方式访问 Hdfs 中的数据:
WebHDFS:提供高速的数据传输,客户端直接和 DataNode 交互
HttpFS:一个代理服务,方便与集群外部的系统集成
对于WebHDFS模式,进入~/hadoop/etc/hadoop中修改配置文件,在hdfs-site.xml添加:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
在core-site.html添加:
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
进入~/hue/desktop/conf修改pseudo-distributed.ini中字段:
webhdfs_url=http://cdh1:50070/webhdfs/v1/
对于HttpFS模式,在hadoop中配置httpfs-site.xml:
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
在core-site.html添加:
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
进入~/hue/desktop/conf修改pseudo-distributed.ini中字段:
webhdfs_url=http://cdh1:14000/webhdfs/v1/
配置MapReduce
将~/hue/desktop/libs/hadoop/java-lib/下的hue-plugins-3.11.0-SNAPSHOT.jar复制到hadoop的mapreduce lib中,路径为:~/hadoop/share/hadoop/mapreduce/lib
配置成功后可以在Hue中的HDFS Browser以及Job Browser查看Hadoop的内容
3.2 Hive配置
在pseudo-distributed.ini中修改字段hive_conf_dir为包含hive-site.xml的目录
[beeswax]
# Host where HiveServer2 is running.
# If Kerberos security is enabled, use fully-qualified domain name (FQDN).
hive_server_host=localhost
# Port where HiveServer2 Thrift server runs on.
hive_server_port=10000
# Hive configuration directory, where hive-site.xml is located
hive_conf_dir=~/hive/conf
启动hiveserver2:
hiveserver2 start