吉阿吉

scrapy爬虫错误笔记

摘要：一、 twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side 阅读全文

posted @ 2021-04-20 15:12 吉阿吉阅读(461) 评论(0) 推荐(0)

Scrapy下载器中间件

摘要：中间件：批量拦截请求和响应，分为爬虫中间件和下载中间件，通常只用下载中间件。一、实现随机User-Agent下载器中间件 1、准备user-agent列表 2、定义RandomUserAgent类 3、实现process_request方法 #request拦截到的请求，spider爬虫类实例化的阅读全文

posted @ 2021-04-19 22:58 吉阿吉阅读(127) 评论(0) 推荐(0)

PhantonJS

摘要：一、设置User-Agent，否则会出现无法跳转链接阅读全文

posted @ 2021-04-19 22:22 吉阿吉阅读(46) 评论(0) 推荐(0)

gevent库

摘要：一、猴子补丁自动二、阅读全文

posted @ 2021-04-16 14:38 吉阿吉阅读(69) 评论(0) 推荐(0)

协程

摘要：协程：同时开启多个任务，但一次只顺序执行一个，等到所执行的任务遭到阻塞，就切换到下一个任务继续执行，节省阻塞占用的时间。单进程下协程和多线程区别不大，协程相较更安全，而多进程下，多线程可以利用多核资源。阅读全文

posted @ 2021-04-15 11:22 吉阿吉阅读(53) 评论(0) 推荐(0)

pickle库

摘要：快速阅读全文

posted @ 2021-03-14 21:35 吉阿吉阅读(37) 评论(0) 推荐(0)

request

摘要：一、参数详解二、cookies相关 requests.Session返回一个session对象，该对象可以同requests一样调用get和post方法发起指定的请求。如果在使用session发起请求的过程产生了cookies,则cookies会被自动存储到session中，下次使用session 阅读全文

posted @ 2021-02-19 21:40 吉阿吉阅读(216) 评论(0) 推荐(0)

pycharm使用小技巧

摘要：一、注释规范二、重构重命名右键 refactor rename 三、断点调试 dubug 阅读全文

posted @ 2021-02-18 16:56 吉阿吉阅读(61) 评论(0) 推荐(0)

selenium

摘要：一、iframe嵌套 webdriver.switch_to.iframe() 二、动作链回车键：send_keys(Keys.RETU 刷新： refresh 三、页面等待四、填充表单 Select类五、Cookies相关 webdriver中提供了操作cookie的相关方法： get_co 阅读全文

posted @ 2021-02-18 16:28 吉阿吉阅读(77) 评论(0) 推荐(0)

动态页面抓取

摘要：一、JS逆向二、selenium 阅读全文

posted @ 2021-02-18 16:17 吉阿吉阅读(62) 评论(0) 推荐(0)