摘要： lucene的介绍网上有好多，再写一遍可能有点多余了。 使用lucene之前，有一系列的疑问 为什么lucene就比数据库快？倒排索引是什么，他是怎么做到的lucene的数据结构是什么样的，cpu消耗，内存消耗主要因为什么lucene的索引流程以及查询流程是什么样的 推荐两篇文章，更进一步了... 阅读全文

摘要： 用了近两个礼拜的摸索终于搭建好了hadoop集群，测试性能也符合预期。 centos6.4下hadoop2.3集群总结如下： 关于环境的设置： 1.关闭selinux （反复折腾了好多次） vi /etc/selinux/config ... 阅读全文

摘要： 为了安装hadoop废了好大的劲才把esxi5.5给装好。 同时装了centos6.5，由于hadoop里面有个免密码登陆所以这里讲的就是免密码登陆。 看了大家的博客文章发现转发的一部分，写ubuntu的一部分，写centos的又有一部分。 可能自己理解的程度有限，现把解决的部分问题列出来，供... 阅读全文

摘要： 尝试在vmware workstation上安装hadoop，感觉太慢了。 好在家里的台式机配置还可以，所以就想在它上面虚拟出几台服务器出来。 台式机配置如下： 虚拟出来三个应该没问题了吧。 第一步，下载esix5.5（去官网上看是需要注册，然后就是无尽的等待） 网盘地址： http://p... 阅读全文

摘要： 最近着手处理大批量数据的任务。 现状是这样的，一个数据采集程序承载大批量数据的存储和检索。后期可能需要对大批量数据进行统计。 数据分布情况 13个点定时生成采集结果到4个文件（小文件生成周期是5分钟） 名称 ... 阅读全文

摘要： 最近需要开发部门中某个大数据量的提取的功能，加到了一个ElasticSearch的群。在群里听说到一个框架叫dubbo，阿里系开源软件。听到群友谈的神乎其神的，什么什么功能切分多协议栈，高并发等等等。最最重要的一点，还有一个控制台，计数器。于是联想到了手头的一个功能的优化。现状是这样... 阅读全文

摘要： 由于定时刷新程序的启用，导致catalina.out配置文件中打入大量日志，致使程序调试困难。 无法正常查看日志。所以客户要求将性能流量配置日志迁移出catalina.out目录。修改log4j配置文件后，发现 分文件中有了日志输出，但... 阅读全文

摘要： 近期需要一个汇总统计，由于数据太多，数据量太大所以在java程序中实现比较困难。若用后台程序统计，数据不能保证实时，同时实现周期比较长。顾使用函数返回结果集的方式，在不增加临时表的情况下实时获取数据。需求为：多个端口流量每五分钟累计汇总一次。如果用程序实现则为讲所有数据取出做每五分钟统计，元数... 阅读全文

摘要： 转自 http://walsh.iteye.com/blog/314941 log4j.properties log4j.rootLogger=DEBUG,CONSOLE,DATABASE,FILE log4j.addivity.org.apache=true # 应用于控... 阅读全文

摘要： 转载自 http://hiok.blog.sohu.com/66253191.html applicationContext-datasource-jdbc.xml datasource ${jdbc.driverClassName} ${jdbc.url} ${jd... 阅读全文