摘要：
说在前面：用协程还是多线程需要仔细考量。我在做实验时请求了100w个ip，分别用pool为1000的协程和64个线程来跑，结果是多线程的速度是协程的10倍以上。 一个简单的协程例子 阅读全文
posted @ 2017-06-29 10:34
匡子语
阅读(479)
评论(0)
推荐(0)
摘要：
来源：http://www.cnblogs.com/yinjia/p/5559702.html 在开发项目过程中，为了方便调试代码，经常会向stdout中输出一些日志，默认的这些日志就直接显示在了终端中。而一般的应用服务器，第三方库，甚至服务器的一些通告也会在终端中显示，这样就搅乱了我们想要的信息。 阅读全文
posted @ 2017-06-27 15:42
匡子语
阅读(770)
评论(0)
推荐(0)
摘要：
场景：在存入16进制id时，由于转换失误，得到的结果是0x1001L的格式，我希望转换为0x1001，去掉最后的L 指令： 阅读全文
posted @ 2017-06-27 12:13
匡子语
阅读(14979)
评论(0)
推荐(2)
摘要：
场景： 有长时间对多个端口访问的日志数据，每天对端口的访问量是稳定的。如果某一天对某个端口的访问量突然增加表示可能出现了问题。现在要通过splunk找到异常值。 思路： 统计每个端口每天的访问量。统计其最大值，平均值，中位数。最大值和平均值比值大的，以及最大值和中位数比值大的就是可能异常的地方。通过 阅读全文
posted @ 2017-06-27 10:19
匡子语
阅读(3463)
评论(0)
推荐(0)
摘要：
看完不用，就是一个字：忘！ 之前学了两天git结果今天要用的时候，啥也想不起来.... 场景： 已有远程仓库： git@192.168.1.1:test/test.git 要提交代码到远程仓库的新分支 1.本地文件夹初始化 在代码所在文件夹执行 2.添加远程仓库 2.1 将本地主机中~/.ssh/i 阅读全文
posted @ 2017-06-26 14:56
匡子语
阅读(437)
评论(0)
推荐(0)
摘要：
原始数据是unicode，存入数据库。需要注意的几个地方： 1、建立数据库时，选择编码方式为utf8 -- UTF-8 Unicode 2、代码中建立数据库连接时，选择charset=utf8 3、存入数据前，处理数据MySQLdb.escape_string(data.encode('utf-8' 阅读全文
posted @ 2017-06-23 17:10
匡子语
阅读(189)
评论(0)
推荐(0)
摘要：
场景： 有一个docker， 在该docker中有服务A，希望每次启动容器时服务A都随着容器启动。这样就不用每次都进入容器手动启动服务了。 方法： 1.需要在docker中添加一个启动服务脚本auto_service.sh 注意：上面三行都是必须的。 #!/bin/sh 告诉linux应该使用什么指 阅读全文
posted @ 2017-06-23 11:07
匡子语
阅读(12905)
评论(1)
推荐(1)
摘要：
在数据操作中有三个考虑指标：大数据、精确性和实时性。三者难以同时满足。 精确 + 实时 数据可以存入单台机器的内存之中，我们可以随心所欲，使用任何想用的算法。结果会 100% 精确，响应会相对快速。 大数据 + 精确 传统的 Hadoop。可以处理 PB 级的数据并且为我们提供精确的答案，但它可能需 阅读全文
posted @ 2017-06-16 16:27
匡子语
阅读(855)
评论(0)
推荐(0)
摘要：
聚合结果的排序 默认：桶会根据 doc_count 降序排列。 内置排序： 设置按doc_count升序排序：注意order，_count 其他排序关键字： _count 按文档数排序。对 terms 、 histogram 、 date_histogram 有效。 _term 按词项的字符串值的字 阅读全文
posted @ 2017-06-16 13:02
匡子语
阅读(1851)
评论(1)
推荐(0)
摘要：
聚合是在查询匹配的文档中做统计的 不指定查询语句时，从所有文档中匹配。 下面两个语句等价： 全局桶：global 一个包含所有数据的桶，可以在即想使用子集，又想使用全集时用到。 一个同时包括过滤和聚合的例子 过滤桶：filter 只有查询结果中符合条件的文档才会放入过滤桶，用于对聚合结果过滤 后过滤 阅读全文
posted @ 2017-06-15 19:11
匡子语
阅读(358)
评论(0)
推荐(0)
浙公网安备 33010602011771号