上一页 1 ··· 16 17 18 19 20 21 22 23 24 ··· 32 下一页
摘要: Django REST framework+Vue 打造生鲜超市(四) 目录 五、商品列表页 5.1.django的view实现商品列表页 (1)goods/view_base.py 在goods文件夹下面新建view_base.py,为了区分django和django rest framework 阅读全文
posted @ 2018-11-26 14:13 王竹笙 阅读(69) 评论(0) 推荐(0)
摘要: Django REST framework+Vue 打造生鲜超市(一) 一、项目介绍 1.1.掌握的技术 Vue + Django Rest Framework 前后端分离技术 彻底玩转restful api 开发流程 Django Rest Framework 的功能实现和核心源码分析 Sentr 阅读全文
posted @ 2018-11-26 13:39 王竹笙 阅读(125) 评论(0) 推荐(0)
摘要: 一、代理 爬虫文件 daili.py middlewares.py 开启中间件 settings.py557行 scrapy crawl daili --nolog 会保存daili.html 在刘拉你打输入ip显示美国的ip 二、Scrapy的日志等级 在使用scrapy crawl spider 阅读全文
posted @ 2018-11-05 09:20 王竹笙 阅读(229) 评论(0) 推荐(0)
摘要: 动态数据加载处理 动态数据加载处理 一、图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml impo 阅读全文
posted @ 2018-10-29 11:44 王竹笙 阅读(258) 评论(0) 推荐(0)
摘要: 数据解析三种方式 引言:回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指 阅读全文
posted @ 2018-10-29 11:01 王竹笙 阅读(71) 评论(0) 推荐(0)
摘要: 这里我们通过请求网页例子来一步步理解爬虫性能 当我们有一个列表存放了一些url需要我们获取相关数据,我们首先想到的是循环。 简单的循环串行 这一种方法相对来说是最慢的,因为一个一个循环,耗时是最长的,是所有的时间总和代码如下: 通过线程池 通过线程池的方式访问,这样整体的耗时是所有连接里耗时最久的那 阅读全文
posted @ 2018-10-26 14:59 王竹笙 阅读(201) 评论(0) 推荐(0)
摘要: 这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送 requests请求的时候以及网页将 response结果返回给 spiders的时候,所以从这里我们可以知道下载中间件是介于 Scrapy的 request/response处理的钩子 阅读全文
posted @ 2018-10-26 14:48 王竹笙 阅读(322) 评论(0) 推荐(0)
摘要: 当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理 每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为,同时也决定此Item是否继续通过pipeline,或者被丢弃而不再进行处理 item pipelin 阅读全文
posted @ 2018-10-26 14:35 王竹笙 阅读(325) 评论(0) 推荐(0)
摘要: Spider类定义了如何爬去某个网站,包括爬取的动作以及如何从网页内容中提取结构化的数据,总的来说spider就是定义爬取的动作以及分析某个网页 工作流程分析 1、以初始的URL初始化Request,并设置回调函数,当该request下载完毕并返回时,将生成response,并作为参数传给回调函数. 阅读全文
posted @ 2018-10-26 13:44 王竹笙 阅读(323) 评论(0) 推荐(0)
摘要: Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言,也可以用在HTML上。CSS是一门将HTML文档样式化语言,选择器由它定义,并与特定的HTML元素的样式相关联。 X 阅读全文
posted @ 2018-10-26 13:42 王竹笙 阅读(212) 评论(0) 推荐(0)
上一页 1 ··· 16 17 18 19 20 21 22 23 24 ··· 32 下一页