Hive 0.10发布了，修正了一些bug，搞了一些新特性，对提高工作效率很有帮助，于是尝试升级了一下，然后遇到了一些问题，记录一下。

主要是看上了下面几个feature，打算换上看看。

 

  • 1. Allow SELECT <col> without a mapreduce job
  • 2. Implement "show create table"
  • 3. Skewed Join Optimization，optimize union sub-queries
  • 4. hiveserver bug fix.

 

0.10.0版本还规范了JSON的使用，Hive中的数据如果包含json，则json里必须使用双引号，以前的版本json是可以使用单引号的。

 

首先要吐槽一下，Apache这活干的太糙了。发布的0.10，默认情况下没法用。hive-default.xml.template复制成hive-site.xml，里面有几个地方没有写xml的封口标签，需要自己写上去。还有个地方是在注释里面用了<>，结果hive解析的时候当成了xml标签。

这都不是大问题，比较大的问题是部署上去以后，发现没法使用。不走map/reduce的查询都没问题。只要走map/red就报错。主要错误是报No LZO Codec found,cannot run.其他报错信息如下。

 

 
    
     
         
  1. at com.hadoop.mapred.DeprecatedLzoLineRecordReader.next(DeprecatedLzoLineRecordReader.java:35) 
    2.  
         
  2. at com.hadoop.mapred.DeprecatedLzoLineRecordReader.next(DeprecatedLzoLineRecordReader.java:85) 
    3.  
         
  3. at org.apache.hadoop.util.LineReader.readLine(LineReader.java:187) 
    4.  
         
  4. at org.apache.hadoop.util.LineReader.readLine(LineReader.java:134) 
    5.  
         
  5. at java.io.InputStream.read(InputStream.java:85) 
    6.  
         
  6. at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:76) 
    7.  
         
  7. at com.hadoop.compression.lzo.LzopInputStream.decompress(LzopInputStream.java:255) 
    8.  
         
  8. at com.hadoop.compression.lzo.LzopInputStream.getCompressedData(LzopInputStream.java:319) 
    9.  
         
  9. at com.hadoop.compression.lzo.LzopDecompressor.setInput(LzopDecompressor.java:116) 
    10.  
         
  10. at com.hadoop.compression.lzo.LzoDecompressor.setInput(LzoDecompressor.java:208) 
    11.  
         
  11. Caused by: java.lang.ArrayIndexOutOfBoundsException 
    12.  
         
  12. ... 11 more 
    13.  
         
  13. at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:326) 
    14.  
         
  14. at org.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.next(HiveContextAwareRecordReader.java:108) 
    15.  
         
  15. at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.doNext(CombineHiveRecordReader.java:41) 
    16.  
         
  16. at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.doNext(CombineHiveRecordReader.java:101) 
    17.  
         
  17. at org.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.doNext(HiveContextAwareRecordReader.java:276) 
    18.  
         
  18. at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77) 
    19.  
         
  19. at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121) 
    20.  
         
  20. Caused by: java.io.IOException: java.lang.ArrayIndexOutOfBoundsException 
    21.  
         
  21. at org.apache.hadoop.mapred.Child.main(Child.java:249) 
    22.  
         
  22. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 
    23.  
         
  23. at javax.security.auth.Subject.doAs(Subject.java:396) 
    24.  
         
  24. at java.security.AccessController.doPrivileged(Native Method) 
    25.  
         
  25. at org.apache.hadoop.mapred.Child$4.run(Child.java:255) 
    26.  
         
  26. at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372) 
    27.  
         
  27. at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436) 
    28.  
         
  28. at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48) 
    29.  
         
  29. at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:216) 
    30.  
         
  30. at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:236) 
    31.  
         
  31. at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.next(HadoopShimsSecure.java:244) 
    32.  
         
  32. at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:328) 
    33.  
         
  33. at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77) 
    34.  
         
  34. at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121) 
    35.  
         
  35. java.io.IOException: java.io.IOException: java.lang.ArrayIndexOutOfBoundsException 
    36.  
        
 
    
 
    
 
 
    
尝试了一下，将HIVE_HOME指向到0.9.0，则0.10.0使用正常。而将HIVE_HOME指向到0.10.0则0.9.0也会报找不到LZO库的问题。
 
    
看来是lzo×××的问题，但是0.9.0的hive就没有这个问题，于是用lsof抓一下进程加载的链接库。发现0.9.0会加载一个/usr/lib/liblzo2.so.2的文件，而0.10.0则没有。看来是lzo库文件的问题。重新安装一下lzo2.06的两个rpm包，并把hadoop-gpl-packing升级到最新的0.5.4-1，问题解决，map/red正常完成。
 
    
 
 
    
另：记录一下tasktracker重启以后的假死问题，Tasktracker重启之后，一切正常，但jobtracker中很长时间无法获取tasktracker的主机信息。主要是由于tasktracker在重启后，会删除mrlocal文件夹下面的distcache，如果运行了一段时间重启，删除文件需要很长时间。所以，先手动删除这些distcache，再重启TT，一切就正常了。
 
    
源码在src/mapred/org/apache/hadoop/mapred/TaskTracker.java
 
    
 
    
     
         
  1. // NB: deleteLocalFiles uses the configured local dirs, but does not  
    2.  
         
  2.     // fail if a local directory has failed.  
    3.  
         
  3.     fConf.deleteLocalFiles(SUBDIR); 
    4.  
         
  4.     final FsPermission ttdir = FsPermission.createImmutable((short) 0755); 
    5.  
         
  5.     for (String s : localStorage.getDirs()) { 
    6.  
         
  6.       localFs.mkdirs(new Path(s, SUBDIR), ttdir); 
    7.  
         
  7.     }     
    8.  
         
  8.     fConf.deleteLocalFiles(TT_PRIVATE_DIR); 
    9.  
         
  9.     final FsPermission priv = FsPermission.createImmutable((short) 0700); 
    10.  
         
  10.     for (String s : localStorage.getDirs()) { 
    11.  
         
  11.       localFs.mkdirs(new Path(s, TT_PRIVATE_DIR), priv); 
    12.  
         
  12.     }     
    13.  
         
  13.     fConf.deleteLocalFiles(TT_LOG_TMP_DIR); 
    14.  
         
  14.     final FsPermission pub = FsPermission.createImmutable((short) 0755); 
    15.  
         
  15.     for (String s : localStorage.getDirs()) { 
    16.  
         
  16.       localFs.mkdirs(new Path(s, TT_LOG_TMP_DIR), pub); 
    17.  
         
  17.     } 
    18.