摘要：
/*查找邀请码为5TU422所有的下级*/ WITH T AS( SELECT invitation_code, inviter_invitation_code, user_name, 0 L FROM axc_users WHERE invitation_code = '5TU422'UNION 阅读全文
posted @ 2019-06-13 14:26
joshua&&chen
阅读(1390)
评论(0)
推荐(0)
摘要：
Settings Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比如 设置Json Pipeliine、LOG_LEVEL等。 参考文档：http://scrapy-chs.read 阅读全文
posted @ 2018-10-15 15:36
joshua&&chen
阅读(131)
评论(0)
推荐(0)
摘要：
反反爬虫相关机制 (有些些网站使用特定的不同程度的复杂性规则防止爬虫访问，绕过这些规则是困难和复杂的，有时可能需要特殊的基础设施，如果有疑问，请联系商业支持。) 来自于Scrapy官方文档描述：http://doc.scrapy.org/en/master/topics/practices.html 阅读全文
posted @ 2018-10-15 15:25
joshua&&chen
阅读(352)
评论(0)
推荐(0)
摘要：
Request Request 部分源码： 其中，比较常用的参数： Response 大部分参数和上面的差不多： 发送POST请求 可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST 阅读全文
posted @ 2018-10-15 15:23
joshua&&chen
阅读(358)
评论(0)
推荐(0)
摘要：
CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板 的代码： scrapy genspider -t crawl tencent tencent.com 上一个案例中，我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以换个花样... class 阅读全文
posted @ 2018-10-15 15:21
joshua&&chen
阅读(193)
评论(0)
推荐(0)
摘要：
Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所有编写 阅读全文
posted @ 2018-10-15 15:19
joshua&&chen
阅读(178)
评论(0)
推荐(0)
摘要：
Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文
posted @ 2018-10-15 15:18
joshua&&chen
阅读(210)
评论(0)
推荐(0)
摘要：
Scrapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端 阅读全文
posted @ 2018-10-15 15:16
joshua&&chen
阅读(163)
评论(0)
推荐(0)
摘要：
入门案例 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建 阅读全文
posted @ 2018-10-15 15:14
joshua&&chen
阅读(452)
评论(0)
推荐(0)
摘要：
Scrapy的安装介绍 Scrapy框架官方网址：http://doc.scrapy.org/en/latest Scrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html Windows 安装方式 Python 2 / 阅读全文
posted @ 2018-10-15 15:12
joshua&&chen
阅读(183)
评论(0)
推荐(0)
浙公网安备 33010602011771号