阿布_alone - 博客园

2020年11月29日

摘要：很多人觉得正则很难，在我看来，这些人一定是没有用心。其实正则很简单，根据二八原则，我们只需要懂 20% 的内容就可以解决 80% 的问题了。我曾经有几年几乎每天都跟正则打交道，刚接手项目的时候我对正则也是一无所知，花半小时百度了一下，然后写了几个 demo，就开始正式接手了。三年多时间，我用到的正则阅读全文

posted @ 2020-11-29 21:33 阿布_alone 阅读(114) 评论(0) 推荐(0)

从 Scrapy 学习模块导入技巧

摘要：我们平时导入第三方模块的时候，一般使用的是import关键字，例如： import scrapy from scrapy.spider import Spider 但是如果各位同学看过 Scrapy 的settings.py文件，就会发现里面会通过字符串的方式来指定 pipeline 和 middl 阅读全文

posted @ 2020-11-29 17:40 阿布_alone 阅读(586) 评论(0) 推荐(0)

2020年11月22日

隐患——redis-py的blpop可能由于网络波动导致收不到信息

摘要：我们在使用Redis做消息队列的时候，常常使用列表这个数据结构，并写出如下的代码： import redis import time client = redis.Redis() while True: data = client.lpop('key') if not data: time.slee 阅读全文

posted @ 2020-11-22 22:36 阿布_alone 阅读(490) 评论(0) 推荐(0)

MongoDB如何正确中断正在创建的索引

摘要：我们在使用 MongoDB 的时候，会出现需要给一个已经存在的大集合的某个字段增加索引的情况。索引分为前台索引和后台索引，对应到 pymongo 中创建索引的代码： import pymongo handler = pymongo.MongoClient().yourdb.yourcol # 前台阅读全文

posted @ 2020-11-22 22:01 阿布_alone 阅读(612) 评论(0) 推荐(0)

2020年11月17日

subprocess 模块

摘要： subprocess 模块首先推荐使用的是它的 run 方法，更高级的用法可以直接使用 Popen 接口。 run 方法语法格式如下： subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_ 阅读全文

posted @ 2020-11-17 22:46 阿布_alone 阅读(219) 评论(0) 推荐(0)

2020年11月1日

爬虫会遇到常见编码问题

摘要：今天偷个懒写篇总结性的文章，我们在写爬虫，对网络抓包或逆向一些token参数时常常遇到一长串的字符，看到一长串不知其意义的字符串往往有点懵圈。如果你靠肉眼能从这一长串字符中看出一些特征或含义，那么会加快你写爬虫解析网络参数的步伐，也能给你提供分析思路。这篇文章就是总结一下常见的字符串编码的格式和特阅读全文

posted @ 2020-11-01 23:18 阿布_alone 阅读(927) 评论(0) 推荐(0)

python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题

摘要：当用python3做爬虫的时候，一些网站为了防爬虫会设置一些检查机制，这时我们就需要添加请求头，伪装成浏览器正常访问。 header的内容在浏览器的开发者工具中便可看到，将这些信息添加到我们的爬虫代码中即可。 ‘Accept-Encoding’：是浏览器发给服务器,声明浏览器支持的编码类型。一般有g 阅读全文

posted @ 2020-11-01 23:03 阿布_alone 阅读(1004) 评论(0) 推荐(0)

mongo常见的一些进阶操作

摘要：摘自：微信公众号：无量测试之道 1、MongoDB 高级操作数据是随意构建的，大家在练习时可以自己创建，现有的数据为： > db.test.find(){ "_id" : ObjectId("5eecc55ec2e3725b5715931b"), "name" : "tony", "age" : 阅读全文

posted @ 2020-11-01 22:26 阿布_alone 阅读(133) 评论(0) 推荐(0)

curl

摘要： curl 介绍： curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP，FTPS，HTTP，HTTPS，GOPHER，TELNET，DICT，FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST,PUT等方法，FTP上传，kerberos认证，HTTP上阅读全文

posted @ 2020-11-01 22:18 阿布_alone 阅读(162) 评论(0) 推荐(0)

shcedule

摘要：简单例子: import schedule import time def run(): print("I'm doing something...") schedule.every(10).minutes.do(run) # 每隔十分钟执行一次任务 schedule.every().hour.do 阅读全文

posted @ 2020-11-01 21:23 阿布_alone 阅读(123) 评论(0) 推荐(0)

阿布alone

公告