09 2017 档案
摘要:开发环境:Django1.11 Python3 如果想把很多model转化成json格式可以直接这样写: 当然你也可以用Django的 JsonResponse,直接返回Ptyhon字典、列表等(可以dump成json格式)的type
阅读全文
摘要:原创文章,转载请注明出处! 操作环境:python3 在上一文中python爬虫scrapy框架——人工识别登录知乎倒立文字验证码和数字英文验证码(1)我们已经介绍了用Requests库来登录知乎,本文如果看不懂可以先看之前的文章便于理解 本文将介绍如何用scrapy来登录知乎。 不多说,直接上代码
阅读全文
摘要:原创文章,转载请注明出处! 目前知乎使用了点击图中倒立文字的验证码: 用户需要点击图中倒立的文字才能登录。 这个给爬虫带来了一定难度,但并非无法解决,经过一天的耐心查询,终于可以人工识别验证码并达到登录成功状态,下文将和大家一一道来。 我们学习爬虫首先就要知道浏览器给服务器传输有什么字段(我用的是S
阅读全文
摘要:scrapy框架结构图: 组成部分介绍: Scrapy Engine: 负责组件之间数据的流转,当某个动作发生时触发事件 Scheduler: 接收requests,并把他们入队,以便后续的调度 Downloader: 负责抓取网页,并传送给引擎,之后抓取结果将传给spider Spiders: 用
阅读全文
摘要:已Mac系统为例,文件:/usr/local/mysql/support-files/my-default.cnf 是mysql的默认配置文件,你可以直接修改这个文件但是不推荐,你可以在/etc/my.cnf里写入自己想配置的文件,当然首先你要创建这个文件。 在my-default.cnf已经写得很
阅读全文

浙公网安备 33010602011771号