打赏

随笔分类 -  ELK(Elasticsearch/Logstash/Kibana)概念学习系列

摘要:前提 什么是倒排索引? Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch的中文分词器 1、单字分词: 如:“我们是中国人” 效果:“我”“们”“是”“中”“国”“人” 2、二分法分词:按两个字进行切 阅读全文
posted @ 2017-02-24 20:47 大数据和AI躺过的坑 阅读(9660) 评论(0) 推荐(0) 编辑
摘要:前提 什么是倒排索引? Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch的停用词 1、有些词在文本中出现的频率非常高,但是对文本所携带的信息基本不产生影响。 2、英文 a、an、the、of 3、中文 的、了、着、是 、标点符号等 4 阅读全文
posted @ 2017-02-24 20:45 大数据和AI躺过的坑 阅读(8356) 评论(0) 推荐(0) 编辑
摘要:前提 什么是倒排索引? Elasticsearch之分词器的作用 Elasticsearch的分词器的一般工作流程: 1、切分关键词 2、去除停用词 3、对于英文单词,把所有字母转为小写(搜索时不区分大小写) 后续博客 Elasticsearch之停用词 阅读全文
posted @ 2017-02-24 20:41 大数据和AI躺过的坑 阅读(4910) 评论(0) 推荐(0) 编辑
摘要:前提 什么是倒排索引? Analyzer(分词器)的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类,这是一个抽象类,切分词的具体规则是由子类实现的,所以对于不同的语言,要用不同的分词器。(也就是说不同的分词器分词的规则是不同的!) 在创建索引时会用到分词器,在搜索时也会用到分词 阅读全文
posted @ 2017-02-24 20:39 大数据和AI躺过的坑 阅读(8554) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch Client发送搜索请求,某个索引库,一般默认是5个分片(shard)。 它返回的时候,由各个分片汇总结果回来。 官网API es 在查询时, 可以指定搜索类型为下面四种: QUERY_THEN_FETCH QUERY_AND_FEATCH DFS_QUERY_THEN_ 阅读全文
posted @ 2017-02-24 14:08 大数据和AI躺过的坑 阅读(10904) 评论(1) 推荐(0) 编辑
摘要:前提, Elasticsearch-2.4.3的3节点安装(多种方式图文详解) Elasticsearch-2.4.3的3节点安装(多种方式图文详解) 比如,你已经成功搭建了3台机器的es集群,如我这里分别是192.168.80.10、192.168.80.11、192.168.80.12。 那么, 阅读全文
posted @ 2017-02-23 10:08 大数据和AI躺过的坑 阅读(7082) 评论(0) 推荐(1) 编辑
摘要:Elasticsearch之重要核心概念如下: 1、cluster 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体 阅读全文
posted @ 2017-02-21 16:17 大数据和AI躺过的坑 阅读(2205) 评论(0) 推荐(0) 编辑
摘要:1、bulk相当于数据库里的bash操作。 2、引入批量操作bulk,提高工作效率,你想啊,一批一批添加与一条一条添加,谁快? 3、bulk API可以帮助我们同时执行多个请求 4、bulk的格式: action:index/create/update/delete metadata:_index, 阅读全文
posted @ 2017-02-20 23:12 大数据和AI躺过的坑 阅读(70246) 评论(1) 推荐(1) 编辑
摘要:扩展下, Elasticsearch之curl删除索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XDELETE 'http://192.168.80.200:9200/zhouls/emp/1'{"found":true,"_index":"zhoul 阅读全文
posted @ 2017-02-20 21:36 大数据和AI躺过的坑 阅读(18226) 评论(0) 推荐(0) 编辑
摘要:前面的基础, Elasticsearch之curl创建索引库 Elasticsearch之curl创建索引 Elasticsearch之curl创建索引库和索引时注意事项 Elasticsearch之cur查询索引 首先,明确一个概念,es包括全部更新和局部更新! ES全部更新 ES可以使用PUT或 阅读全文
posted @ 2017-02-20 21:23 大数据和AI躺过的坑 阅读(55007) 评论(0) 推荐(2) 编辑
摘要:前提, Elasticsearch之curl创建索引库 Elasticsearch之curl创建索引 Elasticsearch之curl创建索引库和索引时注意事项 Elasticsearch之cur查询索引 1、根据员工id查询 [hadoop@djt002 elasticsearch-2.4.3 阅读全文
posted @ 2017-02-20 20:05 大数据和AI躺过的坑 阅读(4960) 评论(0) 推荐(0) 编辑
摘要:前提, Elasticsearch之curl创建索引库 Elasticsearch之curl创建索引 注意事项 1、索引库名称必须要全部小写,不能以下划线开头,也不能包含逗号 2、如果没有明确指定索引数据的ID,那么es会自动生成一个随机的ID,需要使用POST参数 curl -XPOST http 阅读全文
posted @ 2017-02-20 18:00 大数据和AI躺过的坑 阅读(6206) 评论(0) 推荐(0) 编辑
摘要:前提,是 Elasticsearch之curl创建索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XPUT 'http://192.168.80.200:9200/zhouls/emp/1' -d'{"name":"tom","age":25}'{"_i 阅读全文
posted @ 2017-02-20 17:50 大数据和AI躺过的坑 阅读(6611) 评论(0) 推荐(0) 编辑
摘要:关于curl创建索引库的介绍,请移步 Elasticsearch之curl创建索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XPUT 'http://192.168.80.200:9200/zhouls'{"error":{"root_cause":[ 阅读全文
posted @ 2017-02-20 17:37 大数据和AI躺过的坑 阅读(12458) 评论(0) 推荐(0) 编辑
摘要:关于curl的介绍,请移步 Elasticsearch学习概念之curl 启动es,请移步 Elasticsearch的前后台运行与停止(tar包方式) Elasticsearch的前后台运行与停止(rpm包方式) 创建索引库,我这里命名为zhouls [hadoop@djt002 elastics 阅读全文
posted @ 2017-02-20 17:35 大数据和AI躺过的坑 阅读(18932) 评论(0) 推荐(0) 编辑
摘要:curl,简单认为是可以在命令行下访问url的一个工具。即增删改查。 curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求。 查看curl的help文档 [hadoop@djt002 elasticsearch-2.4.3]$ curl - 阅读全文
posted @ 2017-02-20 16:28 大数据和AI躺过的坑 阅读(2326) 评论(0) 推荐(0) 编辑
摘要:对应,这es的下载,需要rpm包。 Elasticsearch-2.4.3的下载(图文详解) 建议用root用户 [root@djt002 elasticsearch-2.4.3]$ pwd/usr/local/elasticsearch/elasticsearch-2.4.3 [root@djt0 阅读全文
posted @ 2017-02-20 16:03 大数据和AI躺过的坑 阅读(2275) 评论(1) 推荐(1) 编辑
摘要:此elasticsearch-.yml配置文件,是在$ES_HOME/config/下 elasticsearch-.yml(中文配置详解) # Elasticsearch Configuration ## NOTE: Elasticsearch comes with reasonable defa 阅读全文
posted @ 2017-02-20 15:57 大数据和AI躺过的坑 阅读(39417) 评论(0) 推荐(0) 编辑
摘要:备注:在生产环境中,往往一般用后台来运行。jps查看。 1、ES的前台运行 [hadoop@djt002 elasticsearch-2.4.3]$ pwd/usr/local/elasticsearch/elasticsearch-2.4.3[hadoop@djt002 elasticsearch 阅读全文
posted @ 2017-02-20 15:40 大数据和AI躺过的坑 阅读(22897) 评论(0) 推荐(0) 编辑