当前标签：搜索引擎

ES索引瘦身压缩——_source _all 均disable filed store为no，引入第三方DB存储原始数据，去掉pos倒排和doc_values，强制定期merge segments，将所有fileds合并为一个field big string

bonelee 2017-02-22 18:20 阅读:2027 评论:0 推荐:0

ES _all、_source的使用——_all字段连接所有字段的值构成一个用空格（space）分隔的大string而被analyzed和index，document主体保存在_source中

bonelee 2017-02-22 13:14 阅读:4813 评论:0 推荐:0

ES _source字段介绍——json文档，去掉的话无法更新部分文档，最重要的是无法reindex

bonelee 2017-02-22 12:24 阅读:7195 评论:0 推荐:0

ES提高数据压缩的设置——单字段，去掉source和all

bonelee 2017-02-22 12:06 阅读:4142 评论:0 推荐:0

利用simhash计算文本相似度

bonelee 2017-02-21 11:56 阅读:2398 评论:0 推荐:0

文本去重之MinHash算法——就是多个hash函数对items计算特征值，然后取最小的计算相似度

bonelee 2017-02-21 11:34 阅读:2193 评论:0 推荐:0

A N EAR -D UPLICATE D ETECTION A LGORITHM T O F ACILITATE D OCUMENT C LUSTERING——有时间看看里面的相关研究

bonelee 2017-02-20 18:03 阅读:539 评论:0 推荐:0

一个基于特征向量的近似网页去重算法——term用SVM人工提取训练，基于term的特征向量，倒排索引查询相似文档，同时利用cos计算相似度

bonelee 2017-02-20 17:22 阅读:1502 评论:0 推荐:0

shingling算法——提取特征，m个hash函数做指纹计算，针对特征hash后变成m维向量，最后利用union-find算法计算相似性

bonelee 2017-02-17 18:43 阅读:5585 评论:0 推荐:0

ES doc_values的来源，field data——就是doc->terms的正向索引啊，不过它是在查询阶段通过读取倒排索引loading segments放在内存而得到的？

bonelee 2017-02-15 15:38 阅读:672 评论:0 推荐:0

ES doc_values介绍2——本质是field value的列存储，做聚合分析用，ES默认开启，会占用存储空间

bonelee 2017-02-15 15:12 阅读:6293 评论:0 推荐:0

列存储压缩技巧，除公共除数或者同时减去最小数，字符串压缩的话，直接去重后用数字ID压缩

bonelee 2017-02-15 15:01 阅读:440 评论:0 推荐:0

ES doc_values介绍——本质是field value的列存储，做聚合分析用，ES默认开启，会占用存储空间（列存储压缩技巧，除公共除数或者同时减去最小数，字符串压缩的话，直接去重后用数字ID压缩）

bonelee 2017-02-15 15:00 阅读:2392 评论:0 推荐:0

How to reduce Index size on disk?减少ES索引大小的一些小手段

bonelee 2017-02-15 14:31 阅读:1049 评论:0 推荐:0

ES查看segment大小

bonelee 2017-02-15 14:19 阅读:8154 评论:0 推荐:0

ES里设置索引中倒排列表仅仅存文档ID——采用docs存储后可以降低pos文件和cfs文件大小

bonelee 2017-02-14 14:39 阅读:645 评论:2 推荐:0

lucene IndexOptions可以设置DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS DOCS，ES里也可以设置

bonelee 2017-02-14 14:28 阅读:2365 评论:1 推荐:0

ES索引文件和数据文件大小对比——splunk索引文件大小远小于ES，数据文件的压缩比也较ES更低，有趣的现象：ES数据文件zip压缩后大小和splunk的数据文件相当！词典文件tim/tip+倒排doc/pos和cfs文件是索引的大头

bonelee 2017-02-14 10:44 阅读:2418 评论:0 推荐:0

Lucene4.2源码解析之fdt和fdx文件的读写(续)——fdx文件存储一个个的Block，每个Block管理着一批Chunk，通过docID读取到document需要完成Segment、Block、Chunk、document四级查询，引入了LZ4算法对fdt的chunk docs进行了实时压缩/解压

bonelee 2017-02-13 20:14 阅读:818 评论:0 推荐:0

Lucene4.2源码解析之fdt和fdx文件的读写——fdx文件存储一个个的Block，每个Block管理着一批Chunk，通过docID读取到document需要完成Segment、Block、Chunk、document四级查询，引入了LZ4算法对fdt的chunk docs进行了实时压缩/解压

bonelee 2017-02-13 20:13 阅读:1315 评论:0 推荐:0