下士闻道

摘要： 关于分布式架构 首先将ES默认每个索引是5个分片，这样做得目的是两个一个索引的时候速度更快（将数据写到小分片的尾部比写入大分片尾部更加快）；另外一个是当数据量达到一定程度之后，分片查询，在汇总（scater-gathter）这种模式更加简单一些。 ES的分片奠定了ES在分布式存储的地位，也意味着ES 阅读全文

摘要： 改正用户拼写 Term suggester：词项匹配建议；可以通过wiki的插件来下载wiki上面的单词以及短语，来作为你的拼写提示基础仓库； Phrase suggester：n-gram算法，短语匹配； Complete suggester：prefix匹配；内置了FST（Finite Stat 阅读全文

摘要： 二次评分 查询出来结果后，进行二次评分； 但是其实每个文档查询出来的结果是两次查询的分数之和，这个其实并不是很能讲的清楚； 多匹配控制 多匹配是指multi-match，控制则是指一下的几种控制方式： best_field：多个字段，相同的查询内容，例如： 上面的查询将会被解析为多个match子句： 阅读全文

摘要： 关于Lucene里面的查询评分，其实是基于一个公式：TF/ IDF（Term-Frequency/ Inverse Document Frequency），词频率/ 倒排文档频率，这个公式讲了一个故事，就是一个不具备区分度的词，就是它的在各个文档中都有出现（在每个文档中出现次数并不重要），那么这个词 阅读全文

摘要： Lucene的概念： 关于索引 索引（index）和搜索（搜索），在lucene以及es里面索引是一个动作，即插入动作，包括创建索引以及为索引添加文档；所有则是针对索引（添加）的文档按照评分规则进行查询索引数据，然后计算（比如评分，聚合等），以获取相应数据。 索引相关有文档相关因子（norm）：no 阅读全文

摘要： 梯度下降是不同于Normal Equals的方式；梯度本质是一个试错过程，不断的尝试一个个theta，寻找能够使的成本函数值最小的可能性。所谓下降是指不断的theat的取值是不断小步减少的；梯度，是指这个减少是逐渐，非线性的。 梯度下降有三种常见的函数：批量梯度下降，随机梯度下降以及最小化梯度下降。 先来看批量梯度下降，在Normal Equal里面我们接触了函数MSE，那么在梯度下降里面我们还是... 阅读全文

摘要： value_counts将会对于指定列的数据进行group，然后统计出各个出现的值的数量，并且按照从高到低的顺序进行排序 输出： 代表Pclass这个字段共有三种值：1，2，3；出现的次数分别为216,184以及491，上面的列表就是按照出现“值”的数量从高到低排列以及数量进行排列； 原则即使：在对 阅读全文

摘要： ES的资源： https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.htmlhttps://www.elastic.co/webinars/getting-started-kibana?baym 阅读全文

摘要： 跟你执行jupyter notebook的当前路径有关系；你在哪个路径下执行的这个语句，那么你就是以那个路径为基础的workspace 阅读全文

摘要： Kafka的Topic的物理实现是partition，partiton本质是一个消息队列，topic是抽象的概念，parition则是具体的实现；同时partition可以分布到不同的机器上面，一定程度这种分布式可以避免单点故障； Kafka是一种集群架构，每一个物理部署都是一个broker（代理） 阅读全文