随笔分类 - Scrapy分布式爬虫打造搜索引擎
摘要:通过Scrapy模拟登陆知乎 通过命令让系统自动新建zhihu.py文件 首先进入工程目录下 再进入虚拟环境 通过genspider命令新建zhihu.py 新建main.py文件,使得程序可以调试 在运行main.py调试之前,需要设置setting.py的文件内容(设置不遵循ROBO协议,防止很
阅读全文
摘要:第一节:session和cookie的实现原理 session和cookie的区别 cookie是浏览器的本地存储机制(以键值对的形式) http是无状态的协议(即服务器在接收到请求之后直接返回,不管是谁传输的————无状态请求) 有状态请求: 第二节: 状态码: zhihu_login_reque
阅读全文

浙公网安备 33010602011771号