为什么选择hive?
hive的安装
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。
本质上讲,hive是一个sql解析引擎。hive可以把sql查询转换为mapreduce中的job来运行。
hive有一套映射工具,可以把sql转换为mapreduce中的job,可以把sql中的表、字段转换为hdfs中的文件(夹)以及文件中的列。
这套映射工具称之为metastore,一般存放在derby、mysql中。
相关阅读:
基于hadoop集群的hive安装
hive内表和外表的区别
hadoop + hive + map +reduce 集群安装部署
hive本地独立模式安装
hive学习之wordcount单词统计
1.2 hive在hdfs中的默认位置是/user/hive/warehouse,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。
2.hive的安装
(1)解压缩、重命名、设置环境变量
(2)在目录$hive_home/conf/下,执行命令mv hive-default.xml.template hive-site.xml重命名
在目录$hive_home/conf/下,执行命令mv hive-env.sh.template hive-env.sh重命名
(3)修改hadoop的配置文件hadoop-env.sh,修改内容如下:
export hadoop_classpath=.:$classpath:$hadoop_classpath:$hadoop_home/bin
(4)在目录$hive_home/bin下面,修改文件hive-config.sh,增加以下内容:
export java_home=/usr/local/jdk
export hive_home=/usr/local/hive
export hadoop_home=/usr/local/hadoop
3.安装mysql
(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps
执行命令rpm -qa |grep mysql 检查是否删除干净
(2)执行命令 rpm -i mysql-server-******** 安装mysql服务端
(3)启动mysql 服务端,执行命令 mysqld_safe &
(4)执行命令 rpm -i mysql-client-******** 安装mysql客户端
(5)执行命令mysql_secure_installation设置root用户密码
4. 使用mysql作为hive的metastore
(1)把mysql的jdbc驱动放置到hive的lib目录下
(2)修改hive-site.xml文件,修改内容如下:
javax.jdo.option.connectionurl
jdbc:mysql://hadoop0:3306/hive?createdatabaseifnotexist=true
javax.jdo.option.connectiondrivername
com.mysql.jdbc.driver
javax.jdo.option.connectionusername
root
javax.jdo.option.connectionpassword
admin
用户接口,包括 cli,jdbc/odbc,webui
元数据存储,通常是存储在关系数据库如 mysql, derby 中
解释器、编译器、优化器、执行器
hadoop:用 hdfs 进行存储,利用 mapreduce 进行计算
更多详情见请继续阅读下一页的精彩内容:
,
