2016 年 3月 9 日随笔档案 - duanxz

2016年3月9日

摘要：当Python内置的核心模块提供的功能无法满足我们的需求时就需要导入外部模块，而导入模块的功能有两种方式： import MODULE ：导入整个模块 from MODULE import XX ：导入模块中的一部分（方法、变量、或常量等）例如，要想查看或更改python查找模块的路径列表就需要使阅读全文

posted @ 2016-03-09 15:23 duanxz 阅读(810) 评论(0) 推荐(2)

Windows命令行下pip安装python whl包

摘要：因为做网页爬虫，需要用到一个爬新闻的BeautifulSoup 的包，然后再关网上下的是whl包，第一次装，虽然花了点时间，最后还是装上去了，记录一下，方便下次。先发一下官方文档地址。http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 建议有阅读全文

posted @ 2016-03-09 09:02 duanxz 阅读(2931) 评论(0) 推荐(0)

ES之2：海量数据处理之倒排索引

摘要： Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底为什么快呢？笼统的来说，b-tree索引是为写阅读全文

posted @ 2016-03-09 09:00 duanxz 阅读(1819) 评论(0) 推荐(0)

Sentinel -- FLOW SLOT核心原理篇

摘要：这个节点是sentinel流控接口，主要承担的作用是限流和预热。还是老套路，在介绍源码之前先介绍一下源码中用到的几个核心原理，这样大家看源码相对轻松一些。 1、核心算法 1.1 漏洞算法和令牌通算法见《常见限流算法介绍（漏桶算法、令牌桶算法）及实现》 1.2预热桶算法系统在初始化或者长时间处于低阅读全文

posted @ 2016-03-09 09:00 duanxz 阅读(693) 评论(0) 推荐(0)

ES之3：elasticsearch优化收集

摘要： 1 增加 Refresh 时间间隔2 减少副本数量3、开启异步刷写4、开启慢查询日志二、服务器层面 5、内存设置6、集群分片设置7、Mapping建模8、索引优化设置9、查询优化 1 增加 Refresh 时间间隔为了提高索引性能，Elasticsearch 在写入数据时候，采用延迟写入的策略，阅读全文

posted @ 2016-03-09 08:58 duanxz 阅读(1616) 评论(0) 推荐(0)

sentinel--统计监控

摘要：前面说到MetricTimerListener的启动（每秒执行一次） public class MetricTimerListener implements Runnable { private static final MetricWriter metricWriter = new MetricW 阅读全文

posted @ 2016-03-09 08:52 duanxz 阅读(1658) 评论(0) 推荐(0)