随笔分类 -  Scrapy分布式爬虫打造搜索引擎

摘要:通过Scrapy模拟登陆知乎 通过命令让系统自动新建zhihu.py文件 首先进入工程目录下 再进入虚拟环境 通过genspider命令新建zhihu.py 新建main.py文件,使得程序可以调试 在运行main.py调试之前,需要设置setting.py的文件内容(设置不遵循ROBO协议,防止很 阅读全文
posted @ 2018-01-21 14:20 迟暮有话说 阅读(1072) 评论(1) 推荐(0)
摘要:第一节:session和cookie的实现原理 session和cookie的区别 cookie是浏览器的本地存储机制(以键值对的形式) http是无状态的协议(即服务器在接收到请求之后直接返回,不管是谁传输的————无状态请求) 有状态请求: 第二节: 状态码: zhihu_login_reque 阅读全文
posted @ 2018-01-21 14:09 迟暮有话说 阅读(734) 评论(0) 推荐(0)