bonelee - 博客园

2017年4月5日

lucene segment会包含所有的索引文件，如tim tip等，可以认为是mini的独立索引

摘要： A Lucene index segment can be viewed as a "mini" index or a shard. Each segment is a collection of all needed files for an index, including .tim and . 阅读全文

posted @ 2017-04-05 15:01 bonelee 阅读(840) 评论(0) 推荐(0)

sphinx源码分析总结

摘要： http://www.cnblogs.com/bonelee/p/6667955.html shinx索引部分源码分析——过程：连接到CSphSource对应的sql数据源，通过fetch row取其中一行，然后解析出field，分词，获得wordhit，最后再加入到CSphSource的Hits里阅读全文

posted @ 2017-04-05 12:13 bonelee 阅读(1006) 评论(0) 推荐(0)

sphinx索引部分源码续——过程：连接到CSphSource对应的sql数据源，通过fetch row取其中一行，然后解析出field，分词，获得wordhit，最后再加入到CSphSource的Hits里

摘要：后面就是初始化一些存储结构，其中重点说下缓存出来的几个临时文件分别的作用。结尾时tmp0的存储的是被上锁的Index，有些Index正在被查询使用故上锁。tmp1，即对应将来生成的spp文件，存储词汇的位置信息，包含该词所在的文档ID，该词所在词典对应的ID，以及该词在本文档中的位置信息。 tmp 阅读全文

posted @ 2017-04-05 11:41 bonelee 阅读(514) 评论(0) 推荐(0)

shinx索引部分源码分析——过程：连接到CSphSource对应的sql数据源，通过fetch row取其中一行，然后解析出field，分词，获得wordhit，最后再加入到CSphSource的Hits里

摘要： CSphSource 数据源 CSphSource_XMLPipe2-XML文件获取数据 CSphSource_SQL-SQL(MySQL)获取数据 CSphIndex 索引器派生类CSphIndex_VLN // 索引过程 virtual int Build ( CSphDict * pDict 阅读全文

posted @ 2017-04-05 11:30 bonelee 阅读(682) 评论(0) 推荐(0)

Rust语言——无虚拟机、无垃圾收集器、无运行时、无空指针/野指针/内存越界/缓冲区溢出/段错误、无数据竞争

摘要： 2006年，编程语言工程师Graydon Hoare利用业余时间启动了Rust语言项目。该项目充分借鉴了C/C++/Java/Python等语言的经验，试图在保持良好性能的同时，克服以往编程语言所存在的问题。其最大的特点在于保持较高的运行效率、深入的底层控制和广泛应用范围的同时，解决了传统C语言和C 阅读全文

posted @ 2017-04-05 10:46 bonelee 阅读(1593) 评论(0) 推荐(0)

2017年4月4日

日元兑换——国内兑换需要护照和签证，国外的机场有兑换ATM

摘要：在中国换日元：在中国的商业银行都可以换取日元，但是换汇者必须持有护照、签证等材料。换汇的汇率是按照即时汇率进行结算，如是现钞则按钞买价兑换，另外还要收取0.5%的手续费。在日本换日元：除了在日本银行或者其它的外币兑换处外，主要国际机场也有为旅客提供货币兑换服务的外汇兑换窗口。此外，还可以在日本全国阅读全文

posted @ 2017-04-04 21:54 bonelee 阅读(5779) 评论(4) 推荐(0)

2017年4月1日

信息检索导论的课件——http://home.ustc.edu.cn/~zhufengx/ir/pdf/

摘要： http://home.ustc.edu.cn/~zhufengx/ir/pdf/ 中科大阅读全文

posted @ 2017-04-01 17:27 bonelee 阅读(899) 评论(0) 推荐(0)

通过Mesos、Docker和Go，使用300行代码创建一个分布式系统

摘要：【摘要】虽然 Docker 和 Mesos 已成为不折不扣的 Buzzwords ，但是对于大部分人来说它们仍然是陌生的，下面我们就一起领略 Mesos 、Docker 和 Go 配合带来的强大破坏力，如何通过 300 行代码打造一个比特币开采系统。时下，对于大部分 IT 玩家来说， Docker 阅读全文

posted @ 2017-04-01 17:02 bonelee 阅读(423) 评论(0) 推荐(0)

varint算法——本质上是牺牲最高位作为标识数据结束位，达到变长编码，说白了就是贪心的分割位

摘要： varint算法，摘自：http://blog.csdn.net/liaoquesg/article/details/50897327 最近在看《大规模WEB服务开发技术》这本书中。书中提到“可变长字节码算法”的压缩数据的算法，以达到压缩数据，减少磁盘IO。可变长字节码算法：任意一个字节的最高位阅读全文

posted @ 2017-04-01 11:28 bonelee 阅读(927) 评论(0) 推荐(0)

2017年3月31日

sphinx测试数据生成

摘要： import json from random import sample, randint from uuid import uuid4 def gen_random_words(): with open("D:\\exp\\test_data\\dictionary.txt") as f: words = [word.strip() for word in f] ... 阅读全文

posted @ 2017-03-31 14:59 bonelee 阅读(395) 评论(1) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告