ITeye博客

jianzong2000的博客

jianzong2000 · 共 36 篇文章

[置顶] 零散笔记

充血模型和贫血模型 我觉得既然是面向对象编程,自然应该是充血模型。 但是方法是不是应该属于该对象可能不好判断。 如发贴动作,就不应该属于贴子这个对象 聚合和组合等 聚合表示被聚合的类可以离开另一个类独立存在,而组合则相反。这是视问题域而定的,例如在关心汽车的领域里,轮胎是一定要组合在汽车类中的,因为它离开了汽车就没有意义了。但是在卖轮胎的店铺业务里,就算轮胎离开了汽车,它也是有意义的,这就可以用聚合了。 依赖:一个类A使用到了另一个类B,而这种使用关系是具有偶然性的、临时性的、非常弱的,但是B类的变化会影响到A。比如某人要过河,需要借用一条船,此时人与船之间的关系就是依赖;表现在代码层面,为…

2012-07-31 19:03 · 评论(0)

awk

在括号中需要转义$,例ssh dsjhd035 "jps | wk '/DataNode/{print \$1}'| xargs -I f echo f"

2015-01-22 15:19 · 评论(0)

linux ps

ps显示活动进程的信息,如果想重复的显示进程的信息,可以使用top代替ps。 ps接受几种option 1.UNIX options,which may be grouped并且必须以破折号开头。 2.BSD options,which may be grouped并且不能以破折号开头。 3.GNU long options,必须以两个破折号开头。 不同的Options可以混合使用,但可能有冲突。有些类似的选项功能是一样的。 注意ps -aux和ps aux是不同的。 POSIX 和UNIX标准要求ps -aux显示用户x的所有进程,也打印a选择出来的所有进程。如果没有x用户,这次ps会被p…

2013-10-18 14:10 · 评论(0)

hbase的Scan和Get的blockCacheHitRatio区别

看regionserver的监控页面,发现顺序取值使用Get时的blockCacheHitRatio较高。 而使用Scan时blockCacheHitRatio低了不少。查看源代码发现 参考AbstractHFileReader.Scanner类(HFileScanner的子类)中。 //这里的blockBuffer,即是block protected ByteBuffer blockBuffer; protected boolean cacheBlocks; 在一个Scan中读取多条数据时会从blockBuffer中直接读取,所以就不会以 blockCacheHitRatio有贡献。 而使…

2013-10-08 14:24 · 评论(0)

hbase的snappy安装

自己编译了hbase的snappy包,出现了几个问题。 主要是报UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy 参考http://grokbase.com/t/hbase/user/13435f3f02/failing-to-get-snappy-working-hours-now-native-snappy-library-not-available-help 其中提到 Make sure the path to the libhadoop SO is on LD_LIBRA…

2013-09-23 18:10 · 评论(0)

hadoop的Text中文编码

在TextInputFormat中调用了LineRecordReader,接着又调用了LineReader,方法readDefaultLine方法中直接使用的Text直接加入的从文件中读取的bytes,其中并没有转换。 如果原始的text文件如果是中文的话,再取出来的时候就不能使用Bytes.toString(final byte [] b)来转换了,因为这个方法里面使用的utf8来解码的。需要自己调用new String(byte[], "gbk")来进行处理了。 看到了TestTextNonUTF8,Text中是以byte[]存储的。所以放进去bytes,再取出来bytes后,还是可以用…

2013-09-04 16:05 · 评论(0)

一个region server的region个数问题

一个Region Server的region个数少点比较好,一般从20到几百个。0.90.x中upper-bound of regionsize是4GB,0.92.x中因为HFile v2,可以支持到更大,如20GB。一个Region Server保持较小的Region Server原因如下: 1、MSLAB每个memstore需要2mb。如果有2个 families,1000 regions则需要3.9GB of heap。 2、如果在region上写入的量差不多,region server整体的内存使用会导致tiny flush,然后会产生compactions。数据会被重写多次。 例如…

2013-09-01 13:28 · 评论(0)

本机mysql连接的问题

在linux上面,hive和mysql server配置在同一台机子上面,用shell时一直报这个错误。 Access denied for user 'root'@'localhost' (using password: YES) 在window上面写个简单的java程序连接正常。。查了半天,发现users表里面有两条记录。 host user password % root *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC localhost root 空的。 两个root的密码不一样的。。用命令改成一样的ok了。。 GRANT ALL PRIVILEG…

2013-08-21 16:33 · 评论(0)

使用maven编译hadoop 2.0.5时的问题

按文档安装一堆好不容易安装完了。 编译的时候总是报这个错误,因为对maven不熟,弄了半天。 [ERROR] symbol: class Parser [ERROR] location: package com.google.protobuf /app/tools/hadoop-2.0.3-alpha-src/hadoop-hdfs-project/hadoop-hdfs/target/generated-sources/java/org/apache/hadoop/hdfs/protocol/proto/NamenodeProtocolProtos.java:[1502,30] error…

2013-08-20 16:48 · 评论(0)

博客blog

map和reduce 个数的设定 (Hive优化)经典 http://blog.sina.com.cn/s/blog_9f48885501017dua.html

2013-07-16 16:21 · 评论(0)

hadoop hbase的datanode分离

本来搭建了一个mapreduce集群,使用了hbase。 但需要将mapreduce分成两个,一个专门跑优先级高的任务,另一个专门跑优先级低的任务。 但因为hbase的原因,hdfs却不能分成两个,考虑配置hdfs的slaves配置文件conf/slaves,修改为conf/slaves_hdfs。 待测试。

2013-05-07 14:12 · 评论(0)

hbase的client和server部署在同一台机子,查询响应慢的问题。

主要修改了server端的tcpnodelay为false,就解决这个问题了。 tcpnodelay为false时的tcpdump为(有40ms的延迟) 16:17:00.576582 IP linux-idy0.48538 > linux-idy0.60020: P 5434:5643(209) ack 247472 win 387 <nop,nop,timestamp 567208394 567208393> 16:17:00.576869 IP linux-idy0.60020 > linux-idy0.48538: P 247472:255664(8192) ack 5643 win…

2013-04-03 11:29 · 评论(0)

转:一款用window.name产生前台session存储的js插件

原文地址: http://www.thomasfrank.se/sessionvars.html 译者: selfimpr 博客: http://blog.csdn.net/lgg201 邮箱: lgg860911@yahoo.com.cn 插件源代码解析: http://blog.csdn.net/lgg201/archive/2010/09/23/5902274.aspx 不使用cookie的session变量 我不喜欢javascript的cookie实现, 存储空间限制在4 * 20K每域名, 仅仅可以使用字符串类型, 并且获取和设置cookie的语法过于复杂. 最重要的是浏览器发送…

2012-09-27 18:45 · 评论(0)

多个div一行,居中

<table align="center" style="text-align:center;"> <tr > <td > <div align="center" style="text-align:center"> <div style="float:left"><div style="background:#ABDCEA;color:#1C2327;font-weight: bold;padding: 4px 5px;line-height: 18px;">Owned Authority</div></div> <div style="float:left">b</div> <div s…

2012-09-27 15:33 · 评论(0)

参考文档

参考文档

2012-09-21 21:49 · 评论(0)