摘要：
Scrapy生成的调试信息非常有用，但是通常太啰嗦，你可以在Scrapy项目中的setting.py中设置日志显示等级： LOG_LEVEL = 'ERROR' 日志级别 Scrapy日志有五种等级，按照范围递增顺序排列如下：（注意《Python网络数据采集》书中这里有错） CRITICAL - 严 阅读全文
posted @ 2019-01-16 19:06
Python不秋
阅读(1104)
评论(0)
推荐(0)
摘要：
scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一： 1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行） 2、在scrapy项目里创建保存记录信息 阅读全文
posted @ 2019-01-14 19:13
Python不秋
阅读(2834)
评论(0)
推荐(0)
摘要：
一、Redis基础部分: 1、redis介绍与安装比mysql快10倍以上 *****************redis适用场合**************** 1.取最新N个数据的操作 2.排行榜应用,取TOP N 操作 3.需要精确设定过期时间的应用 4.计数器应用 5.Uniq操作,获取某段时 阅读全文
posted @ 2019-01-11 20:14
Python不秋
阅读(4376)
评论(0)
推荐(0)
摘要：
先决条件 在开始之前，请确保已经安装了 PyMongo 发行版。 在 Python shell 中，下面的代码应该在不引发异常的情况下运行: 假设 MongoDB 实例在默认主机和端口上运行。 假设你已经下载并安装了 MongoDB，你可以这样启动它: 与 MongoClient 建立连接 使用 P 阅读全文
posted @ 2019-01-10 20:17
Python不秋
阅读(681)
评论(0)
推荐(0)
摘要：
首先我们来说说css选择器；其实在上面的概述：和scrapy相关的函数就这么三个而已：response.css("css表达式")、extract()、extract_first()。有变化的就是：css表达式的写法，这里我们就列举一些常见的表达式，虽然不能囊括100%的爬取任务，但可以很负责的说， 阅读全文
posted @ 2019-01-09 20:00
Python不秋
阅读(3920)
评论(1)
推荐(2)
摘要：
分析 他的代码比较简单，主要有以下的步骤：使用BeautifulSoup库，打开百度贴吧的首页地址，再解析得到id为new_list标签底下的img标签，最后将img标签的图片保存下来。 前面提到过，有部分图片是动态加载的，那么首先我们得弄清楚，这部分图片是怎么动态加载的。在浏览器中打开百度贴吧的首 阅读全文
posted @ 2019-01-08 20:15
Python不秋
阅读(997)
评论(0)
推荐(0)
摘要：
原文链接：https://www.runoob.com/xpath/xpath-syntax.html XPath 术语 XPath 节点 七种类型：在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文 阅读全文
posted @ 2019-01-07 19:12
Python不秋
阅读(747)
评论(0)
推荐(0)
摘要：
1.安装方法 pip install pyquery 2.引用方法 from pyquery import PyQuery as pq 3.简介 pyquery 是类型jquery 的一个专供python使用的html解析的库，使用方法类似bs4。 4.使用方法 4.1 初始化方法： from py 阅读全文
posted @ 2019-01-04 19:46
Python不秋
阅读(357)
评论(0)
推荐(0)
摘要：
为什么要学习爬虫？ 学习爬虫，可以私人订制一个搜索引擎。 大数据时代，要进行数据分析，首先要有数据源。 对于很多SEO从业者来说，从而可以更好地进行搜索引擎优化。 什么是网络爬虫？ 模拟客户端发送网络请求，接收请求对应的数据，按照一定的规则，自动抓取互联网信息的程序。 只要是客户端(浏览器)能做的的事情，原则上，爬虫都能做。意思就是，只要人类能够访问的网页，爬虫在具备铜等资源的情况下就一定可... 阅读全文
posted @ 2019-01-04 19:38
Python不秋
阅读(1409)
评论(0)
推荐(0)
摘要：
JSONP 什么是JSONP 首先提一下JSON这个概念，JSON是一种轻量级的数据传输格式，被广泛应用于当前Web应用中。JSON格式数据的编码和解析基本在所有主流语言中都被实现，所以现在大部分前后端分离的架构都以JSON格式进行数据的传输。 那么JSONP是什么呢？ 首先抛出浏览器同源策略这个概 阅读全文
posted @ 2019-01-03 20:23
Python不秋
阅读(185)
评论(0)
推荐(0)
摘要：
安装 在Django.settings中配置 调用jwt登录验证视图 在对应的Django应用的urls中添加如下路径 由于jwt返回的信息中只包括凭证token,要想在返回的结果中添加用户信息，需要通过如下配置 同时在settings中添加配置 由于jwt的登录验证默认只支持使用username， 阅读全文
posted @ 2019-01-02 18:28
Python不秋
阅读(499)
评论(0)
推荐(0)
摘要：
import os print '***获取当前目录***' print os.getcwd() print os.path.abspath(os.path.dirname(__file__)) print '***获取上级目录***' print os.path.abspath(os.path.dirname(os.path.dirname(__file__))) print os.p... 阅读全文
posted @ 2019-01-02 09:14
Python不秋
阅读(284)
评论(0)
推荐(1)
摘要：
Django 从后台往前台传递数据时有多种方法可以实现。 最简单的后台是这样的： 这个就是返回index.html的内容，但是如果要带一些数据一起传给前台的话，该怎么办呢？ view >> HTML 这里是这样：后台传递一些数据给html，直接渲染在网页上，不会有什么复杂的数据处理（如果前台要处理数 阅读全文
posted @ 2018-12-27 20:09
Python不秋
阅读(726)
评论(0)
推荐(0)
摘要：
通用视图 Django的通用视图......被开发为常见用法模式的快捷方式......它们采用视图开发中的某些常见习语和模式并对其进行抽象，以便您可以快速编写数据的常用视图，而无需重复自己。 - Django文档 基于类的视图的一个主要好处是它们允许您组合可重用行为的方式。REST框架通过提供许多预 阅读全文
posted @ 2018-12-27 09:22
Python不秋
阅读(291)
评论(0)
推荐(0)
摘要：
圣诞节（Christmas）又称耶诞节、耶稣诞辰，译名为“基督弥撒”，是西方传统节日，起源于基督教，在每年公历12月25日。弥撒是教会的一种礼拜仪式。圣诞节是一个宗教节，因为把它当作耶稣的诞辰来庆祝，故名“耶诞节”。 大部分的天主教教堂都会先在12月24日的平安夜，亦即12月25日凌晨举行子夜弥撒， 阅读全文
posted @ 2018-12-25 19:59
Python不秋
阅读(782)
评论(0)
推荐(0)
浙公网安备 33010602011771号