记录一次 Hbase 线上问题的分析与解决
发布时间：2021-12-27 13:05:58 所属栏目：大数据 来源：互联网
导读：本篇文章，我们回顾一次 hbase 线上问题的分析和解决 - KeyValue size too large，总结下背后的知识点，并分享一下查看开源组件不同版本差异点的方法。 希望大家有所收获，谢谢大家! 01 Hbase 简介 Hbase 作为 hadoop database, 是一款开源，分布式易扩展，面
|
本篇文章，我们回顾一次 hbase 线上问题的分析和解决 - KeyValue size too large，总结下背后的知识点，并分享一下查看开源组件不同版本差异点的方法。 希望大家有所收获，谢谢大家! 01 Hbase 简介 Hbase 作为 hadoop database, 是一款开源，分布式易扩展，面向大数据场景的，多版本，非关系型，数据库管理系统，是 Google Bigtable 的 JAVA 版开源实现。 Hbase具有以下特征： 模块化的线性扩展性; 强一致性并发读写支持; 可配置的表的自动 sharding; 表分区在 RegionServer 间的自动 failover; 基于 Block cache 和 Bloom 过滤器的实时读取; 基于 server 端过滤器的查询谓词下推; 正是因为 Hbase 的上述特征，Hbase 在各行各业有许多线上应用案列，可以说是 NoSql 数据库的一个典型代表： 在各种超大数据量级 在需要实时并发读写支持 在表的结构比较灵活(即有很多稀疏列：有很多行和很多列，但每一行只有众多列中的少数列有值) 笔者就在车联网场景下重度使用过 Hbase 题外话： Nosql 数据库有几大类，几个典型代表是：Hbase, ElasticSearch, MongoDb; 有个有趣的现象，笔者发现国内 Hbase 使用的多，而国外似乎 Cassandra 使用的多。 02 一次线上 Hbase 问题的问题现象 某线上应用使用了 Hive 到 Hbase 的映射表，在使用 insert overwrite 从 hive 表查询数据并插入 HBASE 表时，发生了错误。 通过查看 HIVE 背后 YARN 上的作业的日志，发现主要错误信息是 java.lang.IllegalArgumentException: KeyValue size too large，详细报错截屏和日志如下： 2020-04-08 09:34:38,120 ERROR [main] ExecReducer: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"_col0":"0","_col1":"","_col2":"2020-04-08","_col3":"joyshebaoBeiJing","_col4":"105","_col5":"北京,"},"value":null} at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:253) at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:444) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:392) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1924) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: KeyValue size too large at org.apache.hadoop.hive.ql.exec.GroupByOperator.processOp(GroupByOperator.java:763) at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:244) ... 7 more Caused by: java.lang.IllegalArgumentException: KeyValue size too large at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1577) at org.apache.hadoop.hbase.client.BufferedMutatorImpl.validatePut(BufferedMutatorImpl.java:158) at org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:133) at org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:119) at org.apache.hadoop.hbase.client.HTable.put(HTable.java:1085) at org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat$MyRecordWriter.write(HiveHBaseTableOutputFormat.java:146) at org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat$MyRecordWriter.write(HiveHBaseTableOutputFormat.java:117) at org.apache.hadoop.hive.ql.io.HivePassThroughRecordWriter.write(HivePassThroughRecordWriter.java:40) at org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:717) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.GroupByOperator.forward(GroupByOperator.java:1007) at org.apache.hadoop.hive.ql.exec.GroupByOperator.processAggr(GroupByOperator.java:818) at org.apache.hadoop.hive.ql.exec.GroupByOperator.processKey(GroupByOperator.java:692) at org.apache.hadoop.hive.ql.exec.GroupByOperator.processOp(GroupByOperator.java:758) ... 8 more 03 该线上 Hbase 问题的问题原因 其实以上作业的报错日志还是比较详细的：Caused by: java.lang.IllegalArgumentException: KeyValue size too large at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1577); 即报错详细信息是：KeyValue size too large; 报错来自 Hbase (而不是 HIVE)的类，从类名看是 hbase 客户端在对待插入数据校验时发现了错误：org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1577); 熟悉 Hbase 的小伙伴(其实不熟悉 Hbase 的小伙伴，也能从报错信息和报错类上猜到一点点)，从以上信息能够猜到，是 Hbase 对每条记录的 KyeValue 的大小做了限制，当实际插入的 KeyValue 的大小超过该大小限制阈值时，就会报上述错误。 （编辑：南通站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
