摘要: 我们知道,在Java中设置变量值的操作,除了long和double类型的变量外都是原子操作,也就是说,对于变量值的简单读写操作没有必要进行同步。这在JVM 1.2之前,Java的内存模型实现总是从主存读取变量,是不需要进行特别的注意的。而随着JVM的成熟和优化,现在在多线程环境下volatile关键字的使用变得非常重要。在当前的Java内存模型下,线程可以把变量保存在本地内存(比如机器的寄存器)中,而不是直接在主存中进行读写。这就可能造成一个线程在主存中修改了一个变量的值,而另外一个线程还继续使用它在寄存器中的变量值的拷贝,造成数据的不一致。要解决这个问题,只需要像在本程序中的这样,把该变量声 阅读全文
posted @ 2012-09-25 15:00 D调的晨星 阅读(207) 评论(0) 推荐(0) 编辑
摘要: (一)HTablePool介绍 HTablePool是HBase API中的重要类,可以通过HTablePool的getTable(String tableName)方法获得相应的HTable对象实体,用于进行对HBase表的增删改成等操作。一般情况下,客户端通过new 的方式来创建和销毁HTable的操作相对有较大的开销,而是用HTablePool方法创建的HTable则可以在jvm进程的生命周期内循环使用,以降低开销。(二)HTablePool的原理 如果对某表的操作仅执行一次或连续执行的时间较短,则使用new的方法和使用HTablePool的getTable()方法的开销基本无区别,.. 阅读全文
posted @ 2012-09-25 14:32 D调的晨星 阅读(524) 评论(0) 推荐(1) 编辑
摘要: 1、修改用户进程可打开文件数限制在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当前用户进程打开的文件数限制:[speng@as4 ~]$ ulimit -n1024这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去每个进程必然打开的标准输入,标准输出,标准错误,服务器监听 socket,进程间通讯的unix域socket等文件 阅读全文
posted @ 2012-09-05 15:13 D调的晨星 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 后续博客搬迁至CSDNhttp://blog.csdn.net/park1236 阅读全文
posted @ 2015-06-02 18:12 D调的晨星 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 今天群里一个哥们问一个问题:我想先控制每天日志的大小比如10个1M的这个是我最初使用的log4j配置文件里的内容log4j.appender.RF=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.RF.File=./log/log.tx... 阅读全文
posted @ 2014-11-18 13:45 D调的晨星 阅读(279) 评论(0) 推荐(0) 编辑
摘要: HTTP是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用于分布式超媒体信息系统。它于1990年提出,经过几年的使用与发展,得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版,HTTP/1.1的规范化工作正在进行之中,而且HTTP-NG(Next Generatio... 阅读全文
posted @ 2014-11-06 16:52 D调的晨星 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 正则化、归一化含义解析2012-12-29正则化(Regularization)、归一化(也有称为正规化/标准化,Normalization)是对数据尽心预处理的方式,他们的目的都是为了让数据更便于我们的计算或获得更加泛化的结果,但并不改变问题的本质,下面对他们的作用分别做一下科普,如有不正确之处,... 阅读全文
posted @ 2014-10-11 16:47 D调的晨星 阅读(253) 评论(0) 推荐(0) 编辑
摘要: Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括:一个强大的N维数组对象Array;比较成熟的(广播)函数库;用于整合C/C++和Fortran代码的工具包;实用的线性代数、傅里叶变换和随机数生成函数。 SciPy是... 阅读全文
posted @ 2014-09-27 21:27 D调的晨星 阅读(280) 评论(0) 推荐(0) 编辑
摘要: OpenTSDB-2.0.0安装布署2014-02-27 11:07:49|分类:大数据|标签:hadoop|举报|字号订阅1、介绍OpenTSDB是一个架构在Hbase系统之上的实时监控信息收集和展示平台。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现有的报... 阅读全文
posted @ 2014-07-03 14:40 D调的晨星 阅读(473) 评论(0) 推荐(0) 编辑
摘要: 一 准备工作准备工作中要求有1.centOs 6.4,添加hadoop用户,配置集群内的/etc/hosts文件。2.安装hadoop用户的ssh,并打通集群内所有机器,(ha执行fencing时会用到)。3.下载社区版hadoop-2.2.0源码。二 编译hadoop 2.2.0(编译hadoop... 阅读全文
posted @ 2014-06-19 11:28 D调的晨星 阅读(305) 评论(0) 推荐(0) 编辑
摘要: 在准备替换或加装硬盘时,如何得到硬盘信息?可以用smartctl,hdparm等命令来查询。在日志中显示硬盘有坏扇区tail /var/log/messagesMar1 09:42:55 c1g smartd[1848]: Device: /dev/hda, 2 Currently unreadab... 阅读全文
posted @ 2014-06-12 16:05 D调的晨星 阅读(584) 评论(0) 推荐(0) 编辑
摘要: 触发region flush的因素有很多,如手动触发,memstore压力触发,memstore到达限制触发,flush时间触发等。regionserver的flush由flush实际操作步骤为 1.获得region写锁,将region的所有store执行prepare,产生snapshort,释... 阅读全文
posted @ 2014-05-30 13:47 D调的晨星 阅读(529) 评论(0) 推荐(0) 编辑
摘要: HBase 96的RPC采用protobuffer作为消息的序列化框架,使用nio通信机制,能够高效和快速的进行数据的接受和响应。其主要的逻辑集中在两个类:RPCServer和RPCClient。 RegionServer的RPCClient: 1. 阅读全文
posted @ 2014-05-27 18:25 D调的晨星 阅读(230) 评论(0) 推荐(0) 编辑