07 2019 档案

摘要:在OpenResty中如何引用这些变量呢? 规则很简单, 如$remote_addr, 在OpenResty里面使用就是ngx.var.remote_adddr。 阅读全文
posted @ 2019-07-25 09:55 kakaok 阅读(1698) 评论(0) 推荐(0)
摘要:在做新闻或者其它文章采集到时候,只想采集最新发布的信息,之前采集过得就不要再采集了,从而达到增量采集到需求 scrapy-deltafetch,是一个用于解决爬虫去重问题的第三方插件。 scrapy-deltafetch通过Berkeley DB来记录爬虫每次爬取收集的request和item,当重 阅读全文
posted @ 2019-07-16 10:27 kakaok 阅读(473) 评论(0) 推荐(0)
摘要:ES数据备份找了一些方法,发现elasticdump 这个工具不错 elasticdump --input=http://192.168.0.92:9200/hs2840 --output ./hs2840_data_201905.json --type=data type:可以导出数据或者mapp 阅读全文
posted @ 2019-07-03 16:52 kakaok 阅读(1929) 评论(0) 推荐(0)
摘要:在使用openpyxl制作excel的过程中突然发现有个错误提示 raise IllegalCharacterError openpyxl.utils.exceptions.IllegalCharacterError 平时不怎么用这个库,一时也摸不着头脑,大概猜测是有非法字符,搜索一番找到一篇文章 阅读全文
posted @ 2019-07-01 17:36 kakaok 阅读(8026) 评论(0) 推荐(0)