随笔分类 -  爬虫

Selenium模拟登陆知乎的二三事
摘要：知乎 不知道从什么时候开始，不登录的话，只能看一丢丢 我用Chrome比较多，所以弄了ChromeWebdriver + Chrome + Selenium 来弄这个模拟登陆。。。 大致的过程是这样的，发起请求，定位目标元素，该传值传值，该单击单击。。。一切都是如此的流畅，然而。。。 第一个坑出现了 阅读全文

posted @ 2021-03-16 15:40 Acjm 阅读(100) 评论(0) 推荐(0)

知乎倒立文字验证码的识别
摘要：因为实验模拟登陆知乎，短时间内多次反复登陆退出。。。知乎的倒立文字验证码就来了。（也弄不太清楚触发机制） 倒立文字验证码的识别比较麻烦。。。github上有个大佬写了个zheye，刚好可以直接拿来使用一哈~~（大佬666） 配置环境没啥要写的 有个网站 https://www.lfd.uci.edu 阅读全文

posted @ 2021-03-16 15:26 Acjm 阅读(430) 评论(0) 推荐(0)

用scrapy下载图片时遇到的坑--Missing scheme in request url: %s'' % self._url
摘要：raise ValueError('Missing scheme in request url: %s' % self._url) 对！还是爬博客园时出现的事情。。。 提示信息说了在请求url中缺失了scheme，吃了语言的亏。嘛是scheme，赶紧谷歌翻译一哈。。。好多意思来着，方案、格式、图、阴 阅读全文

posted @ 2021-03-16 15:13 Acjm 阅读(244) 评论(0) 推荐(0)

导航