摘要： GET content-split-*/_search { "query": { "bool" : { "must" : [ { "match": { "used" : 0 } }, { "match": { "contentag": 0 } }, { "match": { "area.keywor 阅读全文

摘要： 在gitlab网页上合并分支 使用gitlab网页将代码合并分 下面将dev分支代码合并至master 1.点击request merge 2.源分支为当前分支，目标分支默认为master,确认无误，点击提交 将dev合并到master 阅读全文

摘要： python中使用redis发布订阅者模型 redis发布订阅者模型： Redis提供了发布订阅功能，可以用于消息的传输，Redis的发布订阅机制包括三个部分，发布者，订阅者和Channel。发布者和订阅者都是Redis客户端，Channel则为Redis服务器端，发布者将消息发送到某个的频道，订阅 阅读全文

摘要： import logging from logging import handlers# 日志记录 class Logger(object): level_relations = { 'debug': logging.DEBUG, 'info': logging.INFO, 'warning': l 阅读全文

摘要： Python3的URL编码解码 前言 最近在用python3练习一些爬虫脚本的时候，发现一些url的编码问题，在浏览器提交请求api时，如果url中包含汉子，就会被自动编码掉。呈现的结果是 ==> %xx%xx%xx。如果出现3个百分号为一个原字符则为utf8编码，如果2个百分号则为gb2312编码 阅读全文

摘要： redis 提供 6种数据淘汰策略 淘汰策略的原因 在 redis 中，允许用户设置最大使用内存大小 server.maxmemory，在内存限定的情况下是很有用的。譬如，在一台 8G 机子上部署了 4 个 redis 服务点，每一个服务点分配 1.5G 的内存大小，减少内存紧张的情况，由此获取更为 阅读全文

摘要： scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据 阅读全文

摘要： redis由于测试产生了一批垃圾数据,想要批量删除之 默认db0,redis-cli 带参数 -n可以指定数据库,完整命令: redis-cli -h DB_port -a DB_pwd -n DB_idx keys “key_prefix*” | xargs redis-cli -h DB_por 阅读全文

摘要： scrapy异常状态码处理 在setting.py中加入 scrapy 的 state 默认只处理200到300之间 # 403状态的响应不被自动忽略，对403 的响应做个性化处理 HTTPERROR_ALLOWED_CODES = [403] # 遇到错误忽略掉不重新请求，则设成[] RETRY_ 阅读全文

摘要： 在gitlab网页上合并分支 本文链接：https://blog.csdn.net/lucky_ly/article/details/96038907 使用gitlab网页将代码合并分支 下面将dev分支代码合并至master 1.点击request merge 2.源分支为当前分支，目标分支默认为 阅读全文