摘要：1，scrapy爬虫基本流程： 1. 创建一个新的Scrapy Project > scrapy startproject 项目名称 #系统会在当前目录下创建一个项目名称命名的文件夹，其下包含以下文件： scrapy.cfg: 项目配置文件 items.py: 需要提取的数据结构定义文件，在item 阅读全文

摘要：1，json是什么？ JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。 我的理解就是：json是一种统一的格式化的文件，比如，一个json里放着n行，每行是一个字典，字典里存放着字段。 2，json.dumps 作用：用于将 Pytho 阅读全文

摘要：1，爬取糗事百科 概况：糗事百科是html网页，支持直接抓取html字符然后用正则过滤 爬取糗事百科需要同时发送代理信息，即user-agent 阅读全文

摘要：1，概念理解 爬虫：抓取和保存网页信息，用户看到的网页实质是由 HTML 代码构成的，爬虫爬来的便是这些内容，通过分析和过滤这些 HTML 代码，实现对图片文字等资源的获取。 URL：即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是 阅读全文

摘要：1 ，什么是xpath XPath 是一门在 XML 文档中查找信息的语言。XML是一种类似于HTML的传输协议 2，节点 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。 实例： 解析： <bookstore> (文档节点) <author>J K. 阅读全文