摘要：我们通常会在linux中用crontab 配置定时任务，但最近遇到一个奇怪的问题就是，手动执行脚本可以正常执行，但通过crontab配置执行后就一直失败。看后台执行日志确实也执行了但脚本就是没执行成功。接下来就通过下边的操作一步一步的定位问题 1.把脚本执行的日志打印出来 python3 getBa 阅读全文

摘要：现在的滑动验证码防盗等级都比较高，之前的是一张完整的图片带缺口，现在返回的图片是打乱顺序拼接而成的，所以现在破解不仅要识别滑块的缺口，同时还需要复原完整的图片 一.伪造请求获取验证码图片 可以看到请求中主要的两个参数ctxid和request，所以我们只需要找到这两个参数的生成逻辑并进行请求就可以获 阅读全文

摘要：对于python多线程爬虫，使用multiprocessing能有效的帮我们实现多线程的任务,如以下代码所示，这段代码看似没有什么毛病，但真正执行起来时，有时程序能正常的退出，但大多数情况下是不能正常的退出，程序一直处于阻塞的状态 def Producer(in_q,url,type): respo 阅读全文

摘要：一.准备工作 pip install selenium #安装操作 from selenium import webdriver #引入相关模块 from selenium.webdriver.common.action_chains import ActionChains driver = web 阅读全文

摘要：一.pip换成国内的源 1.Linux中永久修改 修改 ~/.pip/pip.conf (若没有的话创建一个)， 修改内容如下(以阿里云的源为例)： [global] index-url = http://mirrors.aliyun.com/pypi/simple/ 2.Windows中换源 在当 阅读全文