您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

hive 使用php脚本来完成map/reduce

2026/1/30 16:40:50发布11次查看
hive sql有个比较强大的功能就是可以使用外界脚本来完成map/reduce。用法如下:
transform(….) using ‘….’ as (….)。
using里面可以使用php脚本来处理,具体使用方法看下面这个例子。
①、建一个表:
hive> create table `member`( > `id`int, > `user_name`string, > `passwd`string > ) > row format delimited > fields terminated by \t//这句很必要,不然下面的文件导入会导致所有的值都变成null > stored as textfile;
②、准备如下数据 /tmp/member.dat
1 zhangsan zs10242 lisi ls19913 wangwu ww20014 liumang lm12345 linxing lx1990
③、导入数据
hive> load data local inpath '/tmp/member.dat' into table member;
可以看到:
hive> select * from member;ok1 zhangsan zs10242 lisi ls19913 wangwu ww20014 liumang lm12345 linxing lx1990
数据已经准备好了 ,现在我们相对第三列做一次md5加密。我们使用php脚本来处理,php脚本(/tmp/changepasswd.php)代码如下:
add file /tmp/changepasswd.php;
⑤、使用php脚本来执行map/reduce
hive> insert overwrite table member > select transform(`id`,`user_name`,`passwd`) using /usr/bin/php changepasswd.php > as (`id`,`user_name`,`passwd`) from member;
最后,我们可以看到,passwd那一列的数据已经改变:
hive> select * from member;ok1 zhangsan d03eed89429cc3006cc279322c2800c52 lisi 063401506c9d9f0e49a706e3779b74283 wangwu ac5a8109dbbb46c9f69ffd5fc93c11f84 liumang fda8b97fd723bdbf6a754812b5ecec275 linxing 4035378ace8936e93d95aa77e7e224d4
版权声明:本文为博主原创文章,转载请注明出处。
以上就介绍了hive 使用php脚本来完成map/reduce,包括了方面的内容,希望对php教程有兴趣的朋友有所帮助。
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product