摘要: 1. 数据的提取 1.1 控制台打印 import scrapy class DoubanSpider(scrapy.Spider): name = 'douban' allwed_url = 'douban.com' start_urls = [ 'https://movie.douban.com 阅读全文
posted @ 2020-08-01 10:15 kuanleung 阅读(8) 评论(0) 推荐(0)
摘要: 1 Scrapy提取项目 从网页中提取数据,Scrapy 使用基于 XPath 和 CSS 表达式的技术叫做选择器。以下是 XPath 表达式的一些例子: 这将选择 HTML 文档中的 <head> 元素中的 <title> 元素 /html/head/title 这将选择 <title> 元素中的 阅读全文
posted @ 2020-08-01 10:15 kuanleung 阅读(17) 评论(0) 推荐(0)
摘要: 1 基本使用 1.1 创建项目 运行命令: scrapy startproject myfrist(your_project_name) 文件说明: 名称作用scrapy.cfg项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中 阅读全文
posted @ 2020-08-01 10:14 kuanleung 阅读(11) 评论(0) 推荐(0)
摘要: 参考文章 下载的exe文件修改名字为MicrosoftWebDriver.exe 阅读全文
posted @ 2020-08-01 09:36 kuanleung 阅读(12) 评论(0) 推荐(0)