hive?–hiveconf hive.exec.compress.output=true –hiveconf mapred.output.compression.codec=com.hadoop.compression.lzo.lzopcodec
之后为其每个lzo块添加index：
hadoop jar /usr/local/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.distributedlzoindexer ?path/xxx.lzo ? ?注意（没有-jobconf mapred.output.compression.codec=com.hadoop.compression.lzo.lzopcodec选项只设置-jobconf mapred.output.compress=true 选项的话 reduce作业输出文件的格式为.lzo_deflate ）
之所以要为其添加index的原理：
这样会按照block大小来切分块。（速度变快，但是多消耗cpu时间。map数目大量增加）
如果不对文件建立lzo索引则不会按照block来切分块
使用lzo过程会发现它有两种压缩编码可以使用，即lzocodec和lzopcodec，下面说说它们区别：
lzocodec比lzopcodec更快， lzopcodec为了兼容lzop程序添加了如?bytes signature, header等信息如果使用?lzocodec作为reduce输出，则输出文件扩展名为”.lzo_deflate”，它无法被lzop读取；如果使用lzopcodec作为reduce输出，则扩展名为”.lzo”，它可以被lzop读取生成lzo index job的”distributedlzoindexer“无法为 lzocodec，即 “.lzo_deflate”扩展名的文件创建index”.lzo_deflate“文件无法作为mapreduce输入，”.lzo”文件则可以。综上所述得出最佳实践：map输出的中间数据使用 lzocodec，reduce输出使用 lzopcodec 原文地址：添加lzo for hive table, 感谢原作者分享。