看regionserver的监控页面,发现顺序取值使用Get时的blockCacheHitRatio较高。
而使用Scan时blockCacheHitRatio低了不少。查看源代码发现
参考AbstractHFileReader.Scanner类(HFileScanner的子类)中。
//这里的blockBuffer,即是block
protected ByteBuffer blockBuffer;
protected boolean cacheBlocks;
在一个Scan中读取多条数据时会从blockBuffer中直接读取,所以就不会以blockCacheHitRatio有贡献。
而使用Get读数据时,每条数据都会新实例化一个Scan,这个blockBuffer是空,每次都需要重新读取。如果这个block在缓存中存在的话,则会增加blockCacheHitRatio。
相关推荐
HBase在不同版本(1.x, 2.x, 3.0)中针对不同类型的硬件(以IO为例,HDD/SATA-SSD/PCIe-SSD/Cloud)和场景(single/batch, get/scan)做了(即将做)各种不同的优化,这些优化都有哪些?如何针对自己的生产业务和...
Hbase的JavaAPI 包括表的增删改查
hbase性能报告
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
大数据 HIVE HBASE 区别
也算是Scan系列的其中一篇吧,后面对于Scan还会有一篇结合HDFS分析HBase数据读取在HDFS层面是怎么一个流程,敬请期待。HBase中Scan从大的层面来看主要有三种常见用法:ScanAPI、TableScanMR以及SnapshotScanMR
HBase的模式Schema设计的一些概念和原则 5 1)模式的创建与更新 5 2)列族的数量 6 3)行键设计RowKey 6 5. HBase的拓扑结构是什么? 7 1)拓扑结构 7 2)HBase与ZooKeeper的关系是什么? 7 3)HBase的内部结构管理...
本资源为hbase的安装和使用,内含hbase安装工具包,hbase的安装说明,hbase的使用说明 。
hbase备份和数据恢复,hbase与hive的互导,hbase和hdfs互导。
Concurrent scanning of data sources 工具介绍 这是一个并发扫描数据源(hbase,redis)的工具,多线程scan提高效率,但会对机器以及集群造成一定压力。代码说明 1.concurrentRedisScan:多线程scan redis(每个线程...
hbase-sdk是基于hbase-client和hbase-thrift的原生API封装的一款轻量级的HBase ORM框架。 针对HBase各版本API(1.x~2.x)间的差异,在其上剥离出了一层统一的抽象。并提供了以类SQL的方式来读写HBase表中的数据。对...
hbase shell命令详解
hbase原理和设计,包括二级索引,rowkey设计,常见的坑.
大数据大数据大数据大数据大数据大数据大数据大数据大数据大数据大数据
Phoniex 可以让开发者在HBase数据集上使用SQL查询。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集,对于简单查询来说,性能甚至胜过Hive。 标签:Phoniex
搭建pinpoint需要的hbase初始化脚本hbase-create.hbase
简单操作封装:封装了hbase的put,get,scan等操作为简单的java操作方式。 hbase query封装:封装了hbase的filter,可以使用sql-like的方式操作hbase。 动态query封装:类似于myibatis,可以使用xml配置动态...
该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop,Hive,Hbase,Spark,MapReduce,Storm
简单操作封装:封装了hbase的put,get,scan等操作为简单的java操作方式。 hbase query封装:封装了hbase的filter,可以使用sql-like的方式操作hbase。 动态query封装:类似于myibatis,可以使用xml配置动态语句查询...
hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,...