hive部署（包括集成hbase和sqoop）? 1 安装环境 1.1 系统环境 ? 主要是选择软件版本。
hadoop 1.0.3 hbase 0.94.0 hive 0.8.1 zookeeper-3.3.5 mysql 5.5.28 jdk 1.6 sqoop-1.4.2 1.2 环境变量 $hdoop_home：/home/hadoop/hadoop $hbase_home：/home/hadoop/hbase ?$hive_home：/home/hadoop/hive 2 下载 http://mirror.bit.edu.cn/apache/hive/hive-0.8.1/
3 解压 tar –xf hive-0.8.1.tar.gz
将解压后的hive-0.8.1文件放在系统的/home/hadoop/hive/中。
mkdir /home/hadoop/hive
mv /home/hadoop/hive-0.8.1 /home/hadoop/hive
4 修改配置文件 4.1?设置hadoop_home 修改hive-0.8.1目录下/conf/hive-env.sh.template中的hadoop_home为实际的hadoop安装目录。
步骤一：进入/home/hadoop/hive/conf。
cd /home/hadoop/hive/conf
步骤二：复制hive-env.sh.template命名为hive-env.sh。
cp hive-env.sh.template hive-env.sh
步骤三：修改hadoop_home目录为/home/hadoop/hadoop。
vim hive-env.sh
?修改完成之后的效果如图所示。
配置设置hadoop_home结束。
4.2?在hdfs中创建/tmp/user/hive/warehouse并设置权限 步骤如下所示：
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse
修改完成之后的效果如图所示:
创建/tmp和/user/hive/warehouse结束。
4.3 修改hive-site.xml hive-site.xml主要配置项说明如下所示：
hive.metastore.warehouse.dir：数据存放目录，默认路径为/user/hive/warehouse hive.exec.scratchdir：临时文件目录，默认路径为/tmp步骤一：创建hive-default.xml、hive-site.xml
将conf/hive-default.xml.template复制两份，分别命名为hive-default.xml（用于保留默认配置）和hive-site.xml（用于个性化配置，可覆盖默认配置）。命令如下所示：
cd /home/hadoop/hive/conf
cp hive-default.xml.template hive-default.xml
cp hive-default.xml.template hive-site.xml
步骤二：修改hive-site.xml，命令如下所示：
cd /home/hadoop/hive/conf
vim hive-site.xml
下面是hive-site.xml文件的配置示例：
hive.metastore.warehouse.dir/user/hive/warehouselocation of default database for the warehousehive.exec.scratchdir/tmpscratch space for hive jobs
修改hive-site.xml结束。
4.4?测试 在终端输入bin/hive，当你看到“hive>”，那么恭喜你，hive已经正确安装，可以运行了。
5
5 设置hive元数据存储 由于hive的元数据可能要面临不断的更新、修改和读取，所以它显然不适合使用hadoop文件系统进行存储。目前hive将元数据存储在rdbms中，比如mysql、derby中。本文选择mysql。
5.1?连接数据库配置参数 javax.jdo.option.connectionurl：元数据连接字串 javax.jdo.option.connectiondrivername：db连接引擎 javax.jdo.option.connectionusername：db连接用户名 javax.jdo.option.connectionpassword：db连接密码5.2?修改hive-site.xml 代码如下所示：
javax.jdo.option.connectionurljdbc:mysql://10.2.0.254:3306/hive?createdatabaseifnotexist=truejdbc connect string for a jdbc metastorejavax.jdo.option.connectiondrivernamecom.mysql.jdbc.driverdriver class name for a jdbc metastorejavax.jdo.option.connectionusernamehiveusername to use against metastore databasejavax.jdo.option.connectionpasswordexhivepassword to use against metastore database
5.3?拷贝mysql的jdbc驱动包 把mysql的jdbc驱动包（mysql-connector-java-5.1.21.jar）复制到hive的lib目录下。
hive元数据配置结束。
5.4 测试 在hive中创建表成功后，数据库中自动创建表格，即说明配置成功。如图所示：
?
?
6
6 hive集成hbase 6.1?前置条件及原理 hadoop、hive和hbase环境搭建完成。hive与hbase的整合功能的实现是利用两者本身对外的api接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类（hive storage handlers）。
6.2 配置hbase与hive结合包 ?将hbase-0.94.0.jar 、zookeeper-3.3.5.jar包copy至所有节点$hdoop_home/lib及$hive_home/lib下。注意$hive_home/lib含有hbase包需要删除。
将protobuf-java-2.4.0a.jar包copy至所有节点$hadoop_home/lib下，并需要重启集群（不重启该包不会被加载进classpath）。
将hbase-site.xml文件copy至所有节点$hdoop_home/conf下。
6.3 配置hive-site.xml 代码如下所示：
hive.aux.jars.pathfile:///home/hadoop/hive/lib/hive-hbase-handler-0.8.1jar,file:/// home/hadoop/hive/lib/hbase-0.94.0.jar,file:/// home/hadoop/hive/lib/zookeeper-3.4.5.jar
hive与hbase集成到这里就结束了。
6.4 测试 1、启动hive，创建表。代码如下：
hive>create table hbase_hive(key string, value string)stored by'org.apache.hadoop.hive.hbase.hbasestoragehandler'with serdeproperties(hbase.columns.mapping=:key,info:value)tblproperties (hbase.table.name= hbase_hive);
创建表成功，表名为：hbase_hive。
2、在hive和hbase查询表hbase_hive是否存在
在hive中：
hive> show tables;
hbase_hive
在hbase中：
hbase(main):004:0> list
table?
hbase_hive?
hive和hbase中都出现了hbase_hive这张表，表明hive集成hbase成功。
7
7 安装sqoop 7.1 下载sqoop http://www.apache.org/dist/sqoop/1.4.2/sqoop-1.4.2.bin__hadoop-0.20.tar.gz
7.2?解压 tar –xf sqoop-1.4.2.bin__hadoop-0.20.tar.gz
将解压后的sqoop-1.4.2.bin__hadoop-0.20文件放在系统的/home/hadoop/sqoop/中。
mkdir /home/hadoop/sqoop
mv /home/hadoop/sqoop-1.4.2.bin__hadoop-0.20 /home/hadoop/sqoop
7.3?修改配置文件 修改sqoop目录下/conf/sqoop-env.sh.template中的hadoop_home和hive_home安装目录。
步骤一：进入/home/hadoop/sqoop/conf。
cd /home/hadoop/sqoop/conf
步骤二：复制sqoop-env.sh.template命名为sqoop-env.sh。
cp sqoop-env.sh.template sqoop-env.sh
步骤三：修改hadoop_home目录为/home/hadoop/hadoop。
vim sqoop-env.sh
修改完成之后的效果如图所示。
? 到这里，sqoop就已经安装成功。?
此博客为原创，转载请保留此出处，谢谢。 http://free9277.iteye.com/blog/1847094
已有 0 人发表留言，猛击->> 这里
iteye推荐
—软件人才免语言低担保 赴美带薪读研！—
原文地址：hive部署（包括集成hbase和sqoop）, 感谢原作者分享。