摘要： 嵌套的 爬取 先获取第一页的标题 点击标题到第二页的图片url 1、创建项目 > scrapy startproject scrapy_movie_099 2、创建爬虫文件 spiders>scrapy genspider mv https: //www.dytt8.net/html/gndy/ch 阅读全文

摘要： 结合上节，网多页的获取只需要修改 dang.py import scrapy from scrapy_dangdang.items import ScrapyDangdang095Item class DangSpider(scrapy.Spider): name = 'dang' # 如果是多页下 阅读全文

摘要： yield 1. 带有 yield 的函数不再是一个普通函数，而是一个生成器generator，可用于迭代 2. yield 是一个类似 return 的关键字，迭代一次遇到yield时就返回yield后面(右边)的值。重点是：下一次迭代时，从上一次迭代遇到的yield后面的代码(下一行)开始执行 阅读全文

摘要： 1. scrapy项目的结构 项目名字 项目名字 spiders文件夹 （存储的是爬虫文件） init 自定义的爬虫文件 核心功能文件 **************** init items 定义数据结构的地方 爬取的数据都包含哪些 middleware 中间件 代理 pipelines 管道 用来 阅读全文

摘要： 简要： scrapy的安装 # 1）pip install scrapy -i https://pypi.douban.com/simple（国内源） 一步到位 # 2) 报错1： building 'twisted.test.raiser' extension # error: Microsoft 阅读全文

摘要： 什么是selenium？ Selenium是一个用于Web应用程序测试的工具。 Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。 支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动 阅读全文

摘要： updatexml()函数报错注入 updatexml (XML_document, XPath_string, new_value); 第一个参数：XML_document是String格式，为XML文档对象的名称，文中为Doc 第二个参数：XPath_string (Xpath格式的字符串) ， 阅读全文

摘要： 阅读全文

摘要： 数据交互 阅读全文