代码改变世界

随笔分类 -  开源研究

elasticsearch 文档

2015-10-12 11:54 by 轩脉刃, 9440 阅读, 收藏, 编辑
摘要: elasticsearch 文档 文档格式 索引中最基本的单元叫做文档 document. 在es中文档的示例如下: 文档中下划线开头的是es自带的字段 \_index 代表索引名 \_type 代表类型 \_id 代表文档id,如果插入文档的时候没有设置id的话,那么es会... 阅读全文

elasticsearch 集群

2015-10-10 09:56 by 轩脉刃, 28207 阅读, 收藏, 编辑
摘要: elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器,想要把他们搭建成为一个集群 基本配置 每个节点都要进行这样的配置: cluster.name: baichebao cluster 这个是配置集群的名字,为了能进行自动查找 no... 阅读全文

elasticsearch中的API

2015-10-09 09:47 by 轩脉刃, 34523 阅读, 收藏, 编辑
摘要: elasticsearch中的API es中的API按照大类分为下面几种: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作 查看API: 按照更直观的形式返回数据,更适用于控制台请求展示 集群API: 对集群进行查... 阅读全文

lucene 的评分机制

2015-10-08 09:46 by 轩脉刃, 11439 阅读, 收藏, 编辑
摘要: lucene 的评分机制 elasticsearch是基于lucene的,所以他的评分机制也是基于lucene的。评分就是我们搜索的短语和索引中每篇文档的相关度打分。 如果没有干预评分算法的时候,每次查询,lucene会基于一个评分算法来计算所有文档和搜索语句的相关评分。 使用lucene的评分... 阅读全文

安装elasticsearch及中文IK和近义词配置

2015-09-07 16:34 by 轩脉刃, 13150 阅读, 收藏, 编辑
摘要: 安装elasticsearch及中文IK和近义词配置 安装java环境 java环境是elasticsearch安装必须的 安装elasticsearch 其实es的安装非常简单了 安装head插件 head插件让我们能更简单管理elasticsearch 访问... 阅读全文

输入URL之后都发生了什么

2015-06-12 15:02 by 轩脉刃, 5137 阅读, 收藏, 编辑
摘要: # 输入URL之后都发生了什么这个标题印象中已经有很多讨论了。也来说说这个话题。从头开始,当你的电脑使用网线连接到网络的时候,我们都知道,这个时候你的电脑会获取一个IP,这个IP就是你的唯一标识了。好了继续,你在浏览器中敲入了http://www.sina.com,开始你的网络之旅。那么这个时候问题... 阅读全文

elk收集分析nginx access日志

2015-06-11 09:59 by 轩脉刃, 17378 阅读, 收藏, 编辑
摘要: # elk收集分析nginx access日志首先elk的搭建按照这篇文章[使用elk+redis搭建nginx日志分析平台](http://www.cnblogs.com/yjf512/p/4199105.html)说的,使用redis的push和pop做队列,然后有个logstash_index... 阅读全文

postgres配置主从流复制

2015-05-13 10:11 by 轩脉刃, 33704 阅读, 收藏, 编辑
摘要: # postgres主从流复制postgres在9.0之后引入了主从的流复制机制,所谓流复制,就是从库通过tcp流从主库中同步相应的数据。postgres的主从看过一个视频,大概效率为3w多事务qps。postgres的主从主称之为primary,从称为stand_by。主从配置需要注意的一个是主从... 阅读全文

postgres中几个复杂的sql语句

2015-04-16 10:40 by 轩脉刃, 6353 阅读, 收藏, 编辑
摘要: # postgres中几个复杂的sql语句# 需求一需要获取一个问题列表,这个问题列表的排序方式是分为两个部分,第一部分是一个已有的数组[0,579489,579482,579453,561983,561990,562083] 第二个部分是按照id进行排序,但是需要过滤掉前面已有的数组。最开始的时候... 阅读全文

postgres中的中文分词zhparser

2015-04-09 10:32 by 轩脉刃, 4872 阅读, 收藏, 编辑
摘要: # postgres中的中文分词zhparser## postgres中的中文分词方法基本查了下网络,postgres的中文分词大概有两种方法:* Bamboo* zhparser其中的Bamboo安装和使用都比较复杂,所以我选择的是zhparser## zhparse基于scws[scws](ht... 阅读全文

postgres中的视图和物化视图

2015-04-08 12:48 by 轩脉刃, 17344 阅读, 收藏, 编辑
摘要: # 视图和物化视图区别postgres中的视图和mysql中的视图是一样的,在查询的时候进行扫描子表的操作,而物化视图则是实实在在地将数据存成一张表。说说版本,物化视图是在9.3 之后才有的逻辑。# 比较下视图和物化视图的性能创建两个表 CREATE TABLE teacher ( ... 阅读全文

安装thrift

2015-03-13 11:27 by 轩脉刃, 2266 阅读, 收藏, 编辑
摘要: # 要求thrift至少需要支持三种语言:* Java* PHP* Go# 预安装```基本教程:http://thrift.apache.org/docs/install/centos```使用最新的thrift,不要使用9.2版本以下## 安装autoconf```wget http://ftp... 阅读全文

mysql的collation

2015-01-19 13:41 by 轩脉刃, 21228 阅读, 收藏, 编辑
摘要: mysql的collation大致的意思就是字符序。首先字符本来是不分大小的,那么对字符的>, = , < 操作就需要有个字符序的规则。collation做的就是这个事情,你可以对表进行字符序的设置,也可以单独对某个字段进行字符序的设置。一个字符类型,它的字符序有多个,比如:下面是UTF8对应的字符... 阅读全文

使用elk+redis搭建nginx日志分析平台

2015-01-03 07:46 by 轩脉刃, 72962 阅读, 收藏, 编辑
摘要: elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队列,redis的list结构正好可以作为队列使用。然后分... 阅读全文

安装logstash,elasticsearch,kibana三件套

2014-12-30 16:49 by 轩脉刃, 53242 阅读, 收藏, 编辑
摘要: logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才... 阅读全文

技术晨读_2014_12_22

2014-12-22 13:48 by 轩脉刃, 653 阅读, 收藏, 编辑
摘要: #技术晨读#varchar和text说不清那些事mysql中大变长字段缺点就是占用了buffer pool,对内存使用造成浪费。varchar在长度超过255之后和text在存储机制上就是一样的了。所以varchar大字段一样会降低性能。http://wubx.net/varchar-vs-text... 阅读全文

每日晨读_20141127

2014-11-17 09:31 by 轩脉刃, 705 阅读, 收藏, 编辑
摘要: #技术晨读#浅谈Heatmap怎么通过js,做打点,然后渲染出热点图,就和GA一样的那个玩意...http://huoding.com/2011/01/04/39#技术晨读#Jquery插件库刚开工,水一下,感觉很酷的jquey插件库http://www.jq22.com/#技术X读#关于用 MyS... 阅读全文

每日晨读_20140924

2014-09-29 09:56 by 轩脉刃, 556 阅读, 收藏, 编辑
摘要: #技术晨读#HttpOnly隐私嗅探器cookie的HttpOnly保证了cookie不会被js泄漏,但是总有一些办法绕过httponly,如何来检测我的httponly的cookie是不是泄漏了呢?作者就做了这么个事情…http://drops.wooyun.org/tips/2834#技术晨读#... 阅读全文

技术晨读_2014_9_1

2014-09-01 12:58 by 轩脉刃, 859 阅读, 收藏, 编辑
摘要: #技术晨报#NoSQL反模式 – 文档数据库篇文章说的是关系型数据库怎么转换为文档型数据库,比如mongoDB...http://blog.nosqlfan.com/html/4156.html#技术晨读#DDOS攻防战这是系列文章,目前到第三讲,讲了下DDOS攻击方式和原理及防守方式及原理。Web... 阅读全文

大话PHP缓存头

2014-07-22 10:50 by 轩脉刃, 2398 阅读, 收藏, 编辑
摘要: 304的请求机制和200有什么不一样呢?在fiddler中查看304请求的时候突然想到这个问题,就想到研究下这个304请求机制了。 我们自己在nginx上放一个文件,test.png。可以使用下面的地址进行访问: http://test.yejianfeng.com/test.png nginx配置文件如下: 这个的etag关闭是由于nginx默认是开启etag的,说明见ngx_... 阅读全文