`
jianzong2000
  • 浏览: 54662 次
  • 性别: Icon_minigender_1
  • 来自: 南京
文章分类
社区版块
存档分类
最新评论

hbase的Scan和Get的blockCacheHitRatio区别

 
阅读更多

看regionserver的监控页面,发现顺序取值使用Get时的blockCacheHitRatio较高。

而使用Scan时blockCacheHitRatio低了不少。查看源代码发现

参考AbstractHFileReader.Scanner类(HFileScanner的子类)中。

//这里的blockBuffer,即是block

protected ByteBuffer blockBuffer;

protected boolean cacheBlocks;

在一个Scan中读取多条数据时会从blockBuffer中直接读取,所以就不会以blockCacheHitRatio有贡献。

而使用Get读数据时,每条数据都会新实例化一个Scan,这个blockBuffer是空,每次都需要重新读取。如果这个block在缓存中存在的话,则会增加blockCacheHitRatio

分享到:
评论

相关推荐

    HBase in Practise: 性能、监控和问题排查

    HBase在不同版本(1.x, 2.x, 3.0)中针对不同类型的硬件(以IO为例,HDD/SATA-SSD/PCIe-SSD/Cloud)和场景(single/batch, get/scan)做了(即将做)各种不同的优化,这些优化都有哪些?如何针对自己的生产业务和...

    Hbase的JavaAPI

    Hbase的JavaAPI 包括表的增删改查

    hbase性能测试.docx

    hbase性能报告

    HbaseTemplate 操作hbase

    java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行

    HIVE和HBASE区别

    大数据 HIVE HBASE 区别

    HBase最佳实践–Scan用法大观园

    也算是Scan系列的其中一篇吧,后面对于Scan还会有一篇结合HDFS分析HBase数据读取在HDFS层面是怎么一个流程,敬请期待。HBase中Scan从大的层面来看主要有三种常见用法:ScanAPI、TableScanMR以及SnapshotScanMR

    HBase数据库设计.doc

    HBase的模式Schema设计的一些概念和原则 5 1)模式的创建与更新 5 2)列族的数量 6 3)行键设计RowKey 6 5. HBase的拓扑结构是什么? 7 1)拓扑结构 7 2)HBase与ZooKeeper的关系是什么? 7 3)HBase的内部结构管理...

    hbase安装和使用

    本资源为hbase的安装和使用,内含hbase安装工具包,hbase的安装说明,hbase的使用说明 。

    hbase备份和数据恢复

    hbase备份和数据恢复,hbase与hive的互导,hbase和hdfs互导。

    hbasedatacompare:并发scan hbase,redis 的工具类

    Concurrent scanning of data sources 工具介绍 这是一个并发扫描数据源(hbase,redis)的工具,多线程scan提高效率,但会对机器以及集群造成一定压力。代码说明 1.concurrentRedisScan:多线程scan redis(每个线程...

    hbase-sdk是基于hbase-client和hbase-thrift的原生API封装的一款轻量级的HBase ORM框架

    hbase-sdk是基于hbase-client和hbase-thrift的原生API封装的一款轻量级的HBase ORM框架。 针对HBase各版本API(1.x~2.x)间的差异,在其上剥离出了一层统一的抽象。并提供了以类SQL的方式来读写HBase表中的数据。对...

    hbase shell命令详解

    hbase shell命令详解

    hbase原理和设计

    hbase原理和设计,包括二级索引,rowkey设计,常见的坑.

    大数据hbase

    大数据大数据大数据大数据大数据大数据大数据大数据大数据大数据大数据

    HBase上使用SQL查询Phoniex.zip

    Phoniex 可以让开发者在HBase数据集上使用SQL查询。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集,对于简单查询来说,性能甚至胜过Hive。 标签:Phoniex

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    HBase轻量级中间件simplehbase.zip

     简单操作封装:封装了hbase的put,get,scan等操作为简单的java操作方式。  hbase query封装:封装了hbase的filter,可以使用sql-like的方式操作hbase。  动态query封装:类似于myibatis,可以使用xml配置动态...

    Hadoop,Hive,Hbase等框架详解

    该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop,Hive,Hbase,Spark,MapReduce,Storm

    hbase orm simplehbase v1.0

    简单操作封装:封装了hbase的put,get,scan等操作为简单的java操作方式。 hbase query封装:封装了hbase的filter,可以使用sql-like的方式操作hbase。 动态query封装:类似于myibatis,可以使用xml配置动态语句查询...

    hive和hbase整合

    hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,...

Global site tag (gtag.js) - Google Analytics