daniel456 - 博客园

2017年12月27日

摘要： 1.访问ES的方式访问es的方式有两种，一种是http方式，还有一种是java客户端方式。其中Java客户端又分为：1.1.Node client：节点客户端实际上是一个集群中的节点（但不保存数据，不能成为主节点）。因为它是一个节点，它知道整个集群状态（所有节点驻留，分片分布在哪些节点，数据在阅读全文

posted @ 2017-12-27 22:02 daniel456 阅读(4642) 评论(0) 推荐(0)

Node内部架构图

摘要： 1.Node内部架构图先来看一下Node节点的内部实现架构图。首先最上层入口是Restful风格和javaTcp风格的API入口，RestFul请求映射到处理器RestControl。JavaApi映射到轻量级的TransportClient或者重量级的NodeClient。所有的外部命令（不管阅读全文

posted @ 2017-12-27 17:01 daniel456 阅读(1159) 评论(0) 推荐(0)

elasticsearch中cluster和transport知识

摘要： elasticsearch cluster 概述 elasticsearch节点间通信的基础transport 阅读全文

posted @ 2017-12-27 15:35 daniel456 阅读(174) 评论(0) 推荐(0)

elasticsearch之请求处理流程（Rest/RPC ）

摘要： .Action概述 ES提供client供集群节点或java客户端访问集群用。client模块通过代理模式，将所有的操作都集成到client接口中。这样外部调用只需要初始化client就能够完成所有的调用功能。在每个方法后面都有一个***action来承接相应的功能。elasticsearch中的绝阅读全文

posted @ 2017-12-27 11:11 daniel456 阅读(2299) 评论(0) 推荐(0)

2017年12月25日

elasticsearch插件开发

摘要： 1.ES插件，继承自Plugin抽象类，其内部方法比较简单，我们看一下方法。主要方法功能如下： additionalSettings方法可以为节点添加额外的setting设置，但如果节点的配置文件有相同设置，则以配置文件为准。 description和name方法是在PluginsService加阅读全文

posted @ 2017-12-25 21:19 daniel456 阅读(1027) 评论(0) 推荐(0)

elasticsearch启动流程

摘要：本文基于ES2.3.2来描述。通过结合源码梳理出ES实例的启动过程。 elasticsearch的启动过程是根据配置和环境组装需要的模块并启动的过程。这一过程就是通过guice注入各个功能模块并启动这些模块，从而得到一个功能完整的node。正如之前所说elasticsearch的模块化特点，它的各个阅读全文

posted @ 2017-12-25 20:23 daniel456 阅读(2763) 评论(0) 推荐(0)

2017年11月29日

HBase结构

摘要： Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据 Hive，可以使用类似SQL语言来访问HBase，最终本质是编译成MapReduce Job来处理HBase表数据，适合做数据统计。 1.什么是HBase HBase是一个在Hadoop上开发的面向列（同类软件还有Cassand 阅读全文

posted @ 2017-11-29 10:09 daniel456 阅读(321) 评论(0) 推荐(0)

Scala统计一个文件所有单词出现的次数

摘要：方法二：阅读全文

posted @ 2017-11-29 10:08 daniel456 阅读(4378) 评论(0) 推荐(0)

es基础知识

摘要： 1.ES定义 •是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据 1.ES定义 •是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据 •使阅读全文

posted @ 2017-11-29 09:47 daniel456 阅读(3003) 评论(0) 推荐(0)

2017年11月28日

Linux中Swap与Memory内存简单介绍

摘要： 1.背景介绍这篇文章介绍一下Linux中swap与memory。对于memory没什么可说的就是机器的物理内存，读写速度低于cpu一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存的造价是要高于磁盘的，虽然相对来说价格一直在降低。除此之外，内存的断阅读全文

posted @ 2017-11-28 17:13 daniel456 阅读(17666) 评论(0) 推荐(1)

andywu

公告