您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

Sqoop安装及验证_MySQL

2024/12/2 13:20:12发布19次查看
sqoop安装及验证环境:
系统
red hatlinux 6.4
hadoop版本
1.2.1
sqoop版本
1.4.4
mysql数据库版本
5.6.15
通过sqoop实现mysql /oracle与hdfs / hbase互导数据http://www.linuxidc.com/linux/2013-06/85817.htm
[hadoop] sqoop安装过程详解http://www.linuxidc.com/linux/2013-05/84082.htm
用sqoop进行mysql和hdfs系统间的数据互导http://www.linuxidc.com/linux/2013-04/83447.htm
hadoop oozie学习笔记 oozie不支持sqoop问题解决http://www.linuxidc.com/linux/2012-08/67027.htm
hadoop生态系统搭建(hadoop hive hbase zookeeper oozie sqoop)http://www.linuxidc.com/linux/2012-03/55721.htm
hadoop学习全程记录——使用sqoop将mysql中数据导入到hive中http://www.linuxidc.com/linux/2012-01/51993.htm
获取sqoop:http://sqoop.apache.org/
step1. 下载sqoop及mysqlconnector并解压
step2. 将解压后的connector中的jar包拷贝到sqoop的lib目录下
修改bin目录下 configure-sqoop 文件:
注释掉hbase和 zookeeper检查,因为目前还没有启用hbase/zookeeper等hadoop上的组件
step3. 设置环境变量
注意重新连接使环境变量生效!
sqoop:
hadoop_home:
测试运行下sqoop:
可以使用help命令查看帮助:
step4. 测试mysql导入hdfs:
创建一张测试表并插入数据:
利用sqoop将测试表导入到hdfs:
注意:可以用sqoop help import 查看帮助信息
登陆mysql创建用户,授予从任何ip登陆mysql权限
这里创建用户sqoopuser
grant all privileges on *.* to 'sqoopuser'@'%' identified by 'sqoopuser' with grant option;
查看数据库列表:
sqoop list-databases --connect jdbc:mysql://10.55.15.89:3306/ --username sqoopuser --p
执行导入命令将sqoop_test表导入到hdfs:
sqoop import --connect jdbc:mysql://10.55.15.89:3306/sqoop_db --username sqoopuser --p --table sqoop_test -m 1
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product