08 2018 档案

摘要:废话不多说,上代码 1、以下代码为spider文件 2、items 3、pipeline 4、数据库存储封装 5、settings中将che168Pipeline加入ITEM_PIPELINES 阅读全文
posted @ 2018-08-27 22:23 哈哈毛毛怪 阅读(521) 评论(0) 推荐(0)
摘要:requsets库与之前的urllib.request功能,但是相对于后者,前者不需要我们进行封装,能够直接导入调用 如下:get请求 post请求 添加代理 抓取雪球网首页 阅读全文
posted @ 2018-08-16 08:28 哈哈毛毛怪 阅读(353) 评论(0) 推荐(0)
摘要:一、Session的概念 Session 是存放在服务器端的,类似于Session结构来存放用户数据,当浏览器 第一次发送请求时,服务器自动生成了一个Session和一个Session ID用来唯一标识这个Session,并将其通过响应发送到浏览器。当浏览器第二次发送请求,会将前一次服务器响应中的S 阅读全文
posted @ 2018-08-13 22:26 哈哈毛毛怪 阅读(260) 评论(0) 推荐(0)
摘要:urllib.request 1、抓取百度首页 2、抓取西刺代理首页 3、GET、POST请求 4、有道翻译加盐破解 5、人人网首页数据抓取 阅读全文
posted @ 2018-08-13 22:11 哈哈毛毛怪 阅读(4118) 评论(0) 推荐(1)