摘要：前言 几天没用scrapy爬网站了，正好最近在刷电影，就想着把自己常用的一个电影分享网站给爬取下来保存到本地mongodb中 项目开始 第一步仍然是创建scrapy项目与spider文件 切换到工作目录两条命令依次输入 scrapy startproject xunleidianying scrap 阅读全文

摘要：前言 当前手机使用成为互联网主流，每天手机App产生大量数据，学习爬虫的人也不能只会爬取网页数据，我们需要学习如何从手机 APP 中获取数据，本文就以豆果美食为例，讲诉爬取手机App的流程 环境准备 python3 fiddler 一款支持桥接模式的安卓虚拟机（本文使用夜神模拟器） 需要准备的知识有 阅读全文

摘要：json JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。 json是我们在制作爬虫时非常常见的网络对象，本文就列举python对于json的基本操作。 json函数 使用json函数首先要导入 json 库 即 import json 阅读全文

摘要：前言 Scrapy那么多模块都是怎么结合的啊？明明在chrome上的xpath helper插件写好了xpath，为什么到程序就读取的是None？Scrapy可以直接写多层response么？难道必须再使用requests库？？ 没关系，这篇文章一站式解答scrapy常见的坑 Scrapy各部分运行 阅读全文

摘要：Scrapy 官方介绍是 An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way. 意思就是 一个 阅读全文