王竹笙

2018年11月26日

5-----生鲜超市（商品列表页功能，restful api基础以及vue项目结构介绍，drf的APIView、GenericView、viewsets和route）

摘要： Django REST framework+Vue 打造生鲜超市（四）目录五、商品列表页 5.1.django的view实现商品列表页（1）goods/view_base.py 在goods文件夹下面新建view_base.py，为了区分django和django rest framework 阅读全文

posted @ 2018-11-26 14:13 王竹笙阅读(69) 评论(0) 推荐(0)

1----生鲜超市（项目介绍）

摘要： Django REST framework+Vue 打造生鲜超市（一）一、项目介绍 1.1.掌握的技术 Vue + Django Rest Framework 前后端分离技术彻底玩转restful api 开发流程 Django Rest Framework 的功能实现和核心源码分析 Sentr 阅读全文

posted @ 2018-11-26 13:39 王竹笙阅读(125) 评论(0) 推荐(0)

2018年11月5日

2----scrapy框架之代理and日志级和请求传参

摘要：一、代理爬虫文件 daili.py middlewares.py 开启中间件 settings.py557行 scrapy crawl daili --nolog 会保存daili.html 在刘拉你打输入ip显示美国的ip 二、Scrapy的日志等级在使用scrapy crawl spider 阅读全文

posted @ 2018-11-05 09:20 王竹笙阅读(229) 评论(0) 推荐(0)

2018年10月29日

6-----selenuim和phantonJs处理网页动态加载数据的爬取

摘要：动态数据加载处理动态数据加载处理一、图片懒加载什么是图片懒加载？案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml impo 阅读全文

posted @ 2018-10-29 11:44 王竹笙阅读(258) 评论(0) 推荐(0)

4-----三种数据解析方式学习

摘要：数据解析三种方式引言：回顾requests实现数据爬取的流程指定url 基于requests模块发起请求获取响应对象中的数据进行持久化存储其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指阅读全文

posted @ 2018-10-29 11:01 王竹笙阅读(71) 评论(0) 推荐(0)

2018年10月26日

爬虫性能

摘要：这里我们通过请求网页例子来一步步理解爬虫性能当我们有一个列表存放了一些url需要我们获取相关数据，我们首先想到的是循环。简单的循环串行这一种方法相对来说是最慢的，因为一个一个循环，耗时是最长的，是所有的时间总和代码如下：通过线程池通过线程池的方式访问，这样整体的耗时是所有连接里耗时最久的那阅读全文

posted @ 2018-10-26 14:59 王竹笙阅读(201) 评论(0) 推荐(0)

7-----Scrapy框架中Download Middleware用法

摘要：这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送 requests请求的时候以及网页将 response结果返回给 spiders的时候，所以从这里我们可以知道下载中间件是介于 Scrapy的 request/response处理的钩子阅读全文

posted @ 2018-10-26 14:48 王竹笙阅读(322) 评论(0) 推荐(0)

6-----Scrapy框架中Item Pipeline用法

摘要：当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类，负责接收到item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline,或者被丢弃而不再进行处理 item pipelin 阅读全文

posted @ 2018-10-26 14:35 王竹笙阅读(325) 评论(0) 推荐(0)

5-----Scrapy框架中Spiders用法

摘要： Spider类定义了如何爬去某个网站，包括爬取的动作以及如何从网页内容中提取结构化的数据，总的来说spider就是定义爬取的动作以及分析某个网页工作流程分析 1、以初始的URL初始化Request，并设置回调函数，当该request下载完毕并返回时，将生成response，并作为参数传给回调函数. 阅读全文

posted @ 2018-10-26 13:44 王竹笙阅读(323) 评论(0) 推荐(0)

4-----Scrapy框架中选择器的用法

摘要： Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。 X 阅读全文

posted @ 2018-10-26 13:42 王竹笙阅读(212) 评论(0) 推荐(0)

纵浪大化中，不喜亦不忧，应尽便须尽，无复独多虑。

公告