08 2015 档案

[Flume] - flume安装
摘要：ApacheFlume是一个分布式的、可靠的、高效的系统，可以将不同来源的数据收集、聚合并移动到集中的数据存储中心上。ApacheFlume不仅仅只是用到日志收集中。由于数据来源是可以定制的，flume可以使用传输大量的自定义event数据，包括但不限于网站流量信息、社会媒体信息、email信息以及... 阅读全文
posted @ 2015-08-28 17:24 liuming_1992 阅读(284) 评论(0) 推荐(0)
[java多线程] - 锁机制&同步代码块&信号量
摘要：在美眉图片下载demo中，我们可以看到多个线程在公用一些变量，这个时候难免会发生冲突。冲突并不可怕，可怕的是当多线程的情况下，你没法控制冲突。按照我的理解在java中实现同步的方式分为三种，分别是：同步代码块机制，锁机制，信号量机制。一、同步代码块 在java的多线程并发开发过程中，我们最常用... 阅读全文
posted @ 2015-08-28 11:33 liuming_1992 阅读(685) 评论(0) 推荐(0)
[java多线程] - Thread&Runnable运用
摘要：负载是一个很大的话题，也是一个非常重要的话题。不管是在大的互联网软件中，还是在一般的小型软件，都对负载有一定的要求，负载过高会导致服务器压力过大；负载过低又比较浪费服务器资源，而且当高请求的时候还可能出现低效率的问题。多线程就是一种提高服务效率的方式。面对海量的用户请求，单线程肯定扛不住，那么多... 阅读全文
posted @ 2015-08-27 20:39 liuming_1992 阅读(1295) 评论(0) 推荐(0)
[Hadoop] - TaskTracker源码分析
摘要：在Hadoop1.x版本中，MapReduce采用master/salve架构，TaskTracker就是这个架构中的slave部分。TaskTracker以服务组件的形式存在，负责任务的执行和任务状态的汇报。TaskTracker是hadoop集群中运行在各个节点上的服务。扮演着“通信交通”的... 阅读全文
posted @ 2015-08-27 17:50 liuming_1992 阅读(936) 评论(0) 推荐(0)
[solr] - IKAnalyzer 分词加入
摘要：IKAnalyzer分词是一个开源的，基于java语言开发的轻量级的中文分词工具包。IKAnalyzer采用“正向迭代最细粒度切分算法”，支持细粒度和智能分词两种模式。支持用户字典扩展定义，不过对中英文混合词的分割没有特别好的支持。1、下载IKAnalyzer中文分词器http://ik-analy... 阅读全文
posted @ 2015-08-27 14:50 liuming_1992 阅读(234) 评论(0) 推荐(0)
[MongoDB] - 数据的增删改操作
摘要：在前一篇中简单的介绍了一些基本操作命令，现在分别针对这些命令进行比较详细的说明：一、数据插入 插入数据使用命令insert，insert的参数只有一个，就是要插入的文档BSON数据。MongoDB的shell客户端没有提供批量插入的api，如果需要批量插入，那么需要使用javascript脚本... 阅读全文
posted @ 2015-08-26 19:48 liuming_1992 阅读(3257) 评论(0) 推荐(0)
[solr] - solr5.2.1环境搭建 - 使用solr自带的jetty服务器
摘要：solr除了使用tomcat作为容器外，还可以使用其他的常用容器，比如jetty，jboos等，而且solr自身就自带jetty服务器，那么现在就solr自带的jetty服务器进行安装操作。由于solr自带的jetty服务器命令是shell脚本，所以不能再windows上运行，只能够在linux... 阅读全文
posted @ 2015-08-25 20:49 liuming_1992 阅读(934) 评论(0) 推荐(0)
[Netty] - Netty入门(最简单的Netty客户端/服务器程序)
摘要：Java中的NIO是一种解决阻塞式IO问题的基本技术，但是NIO的编写对java程序员是有比较高的要求的。那么Netty就是一种简化操作的一个成熟的网络IO编程框架。这里简单介绍一个程序，代码是《netty in action》里面的，不过那个里面的实例有点问题，反正我没有跑成功，修改后成功。直... 阅读全文
posted @ 2015-08-25 20:25 liuming_1992 阅读(35661) 评论(1) 推荐(1)
[Hadoop] - 自定义Mapreduce InputFormat&OutputFormat
摘要：在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况，它为我们提供了两个组建，只需要我们自定义适合的InputFormat和OutputFormat，就可以完成这个需求，这里简单的介绍一个从MongoDB中读数据，并写... 阅读全文
posted @ 2015-08-25 20:11 liuming_1992 阅读(3866) 评论(0) 推荐(0)
[MongoDB] - Shell基本命令
摘要：在这里，我简单的记录一下MongoDB在shell客户端中使用的基本命令，比如创建/显示数据库，创建集合，删除集合等。一、启动MongoDB并连接shell客户端 使用mongod.exe和mongo.exe命令分别启动和连接数据库，命令如下：mongod --dbpath E:\progra... 阅读全文
posted @ 2015-08-25 19:34 liuming_1992 阅读(19189) 评论(0) 推荐(0)
[MongoDB] - mongod.exe参数详解
摘要：mongod.exe是启动mongodb的命令，我们可以通过mongod --help来查看帮助文档。下面是各个参数的对应中文解释。通用参数选项-h/--help 显示帮助信息--version 显示当前mongo的版本信息-f/--config arg 使用配置文件指定启动参数-v/--... 阅读全文
posted @ 2015-08-21 16:19 liuming_1992 阅读(1614) 评论(0) 推荐(0)
[MongoDB] - Window7下安装及BSON基本介绍
摘要：MongoDB是一种NOSQL(Not Only SQL)类型的文档型数据库。NoSQL数据库与传统的关系型数据库相比，它具有操作简单、完全免费、源码公开、随时下载等特点，并可以用于各种商业目的。MongoDB的文档模型自由灵活，可以让你在开发过程中畅顺无比。对于大数据量、高并发、弱事务的互联网... 阅读全文
posted @ 2015-08-21 15:19 liuming_1992 阅读(512) 评论(0) 推荐(0)
[solr] - solr5.2.1环境搭建 - 使用tomcat做为容器
摘要：这里忽略solr其他依赖环境的搭建，这里搭建solr5.2.1。使用Java1.7.0_17，tomcat使用6.0.36版本的。1、下载solr压缩文件 Solr是Apache基金组织在lucene之上建立的一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。Lu... 阅读全文
posted @ 2015-08-21 14:14 liuming_1992 阅读(1920) 评论(0) 推荐(0)