随笔分类 -  search-engine

elasticsearch 基本操作
摘要：转自： https://blog.csdn.net/lu_wei_wei/article/details/51205943 Elasticsearch在linux下使用命令sh elasticsearch start，按键ctrl+c的时候程序就会stop掉，如何将程序在后台启动呢？ 需要使用:./ 阅读全文
posted @ 2019-05-25 23:27 忘记时间zms 阅读(282) 评论(0) 推荐(0)
extract_first()
摘要：只有数组的selector才有用 阅读全文
posted @ 2019-05-25 11:42 忘记时间zms 阅读(406) 评论(0) 推荐(0)
运行scrapyd报错
摘要：转自: https://blog.csdn.net/qq_29719097/article/details/89431234 web.Server Traceback (most recent call last): builtins.AttributeError: 'int' object has 阅读全文
posted @ 2019-05-22 15:23 忘记时间zms 阅读(503) 评论(0) 推荐(0)
scrapy将爬取到的数据存入elasticsearch
摘要：pip安装 elasticsearch-dsl的包, 是elasticsearch提供给python 的接口 这个用来调试,还是很强大的,可以直接为某个py文件进行单元测试??应该是这么个意思 自己生成一个 models的文件夹用来存放类定义,和Django差不多,这样结构比较好 然后为每一个爬虫都 阅读全文
posted @ 2019-05-21 12:34 忘记时间zms 阅读(726) 评论(0) 推荐(0)
elasticsearch 查询 query
摘要：对于 类型是 text的字段,并且分析器指明是ik_max_word的会建立倒排索引 查询的分类: match查询: 会自动转换大小写,会分词, term查询: 不会转换和分词,只能值匹配 terms查询: 可以给字段值传入数组, 这里有没有分词呢??????????应该和term一样的只会值匹配吧 阅读全文
posted @ 2019-05-21 12:19 忘记时间zms 阅读(528) 评论(0) 推荐(0)
elasticsearch映射 mapping
摘要：mapping的格式个应用,主要是创建索引(数据库)的时候指明type 的field类型,然后elasticsearch可以自动解析 阅读全文
posted @ 2019-05-20 22:42 忘记时间zms 阅读(171) 评论(0) 推荐(0)
kibana 操作
摘要：插入时不指明id,不会自动生成id,和视频中的不一样啊 解决: 其实是可以的,不过put不可以 POST才可以 中文输入有问题: 待解决: 基本操作记录 批量操作 action_and_meta_data\noptional_source\n 阅读全文
posted @ 2019-05-20 22:32 忘记时间zms 阅读(221) 评论(0) 推荐(0)
开机启动程序并且保持在后台
摘要：su - zdj -c 'nohup /home/zdj/elasticsearch-rtf/bin/elasticsearch > /tmp/elasticsearch.log 2>&1 &' nohup sh /usr/share/kibana/bin/kibana > /tmp/kibana. 阅读全文
posted @ 2019-05-20 17:20 忘记时间zms 阅读(462) 评论(0) 推荐(0)
安装kibana
摘要：下载kibana5.1.1或者5.1.2版本的deb包,然后用dpkg命令安装 安装后启动位置在 /usr/share/kibana/bin中,在该目录下运行 ./kibana 即可启动 启动前应该先启动elasticsearch,要不会报错 ./kibana 和直接运行 kibana 有什么区别呢 阅读全文
posted @ 2019-05-20 16:50 忘记时间zms 阅读(145) 评论(0) 推荐(0)
安装elasticsearch-rtf出错
摘要：出错信息： elasticsearch-rtf Caused by: java.lang.IllegalStateException: No match found 解决方法： 参考：https://github.com/medcl/elasticsearch-rtf/issues/65 还是官方最 阅读全文
posted @ 2019-05-20 11:28 忘记时间zms 阅读(394) 评论(0) 推荐(0)
倒排索引构建算法BSBI和SPIMI
摘要：参考：https://blog.csdn.net/androidlushangderen/article/details/44889677 倒排索引 ： 一般的索引检索信息的方式。比如原始的数据源假设都是以文档的形式被分开，文档1拥有一段内容，文档2也富含一段内容，文档3同样如此。然后给定一个关键词 阅读全文
posted @ 2019-05-12 20:14 忘记时间zms 阅读(1156) 评论(0) 推荐(0)
Elasticsearch－基础介绍及索引原理分析
摘要：转自 ： http://www.cnblogs.com/dreamroute/p/8484457.html 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅 阅读全文
posted @ 2019-04-26 23:51 忘记时间zms 阅读(207) 评论(0) 推荐(0)