随笔分类 -  scrapy

xpath
摘要：推荐一个挺不错的网站：http://www.zvon.org/xxl/XPathTutorial/General_chi/examples.html 里面有很不错的例子，下面的例子中红色字体表示使用对应语法获取的元素（或属性）。 XPath轴(XPath Axes)可定义某个相对于当前节点的节点集： 阅读全文
posted @ 2021-04-26 19:16 薄荷味日记
scrapy LinkExtractor
摘要：一、LinkExtrator就非常适合整站抓取 import scrapy from scrapy.linkextractor import LinkExtractor class WeidsSpider(scrapy.Spider): name = "weids" allowed_domains 阅读全文
posted @ 2021-03-09 19:34 薄荷味日记
从脚本中运行Scrapy
摘要：文档： https://www.osgeo.cn/scrapy/topics/practices.html 1、scrapy.crawler.CrawlerProcess Scrapy构建于Twisted异步网络框架基础之上，因此你需要在Twisted reactor里面运行。 可以使用scrapy 阅读全文
posted @ 2021-03-09 19:31 薄荷味日记
Scrapy-redis分布式+Scrapy-redis实战
摘要：【学习目标】 Scrapy-redis分布式的运行流程 Scheduler与Scrapy自带的Scheduler有什么区别 Duplication Filter作用 源码自带三种spider的使用 6. Scrapy-redis分布式组件 Scrapy 和 scrapy-redis的区别 Scrap 阅读全文
posted @ 2018-09-30 11:01 薄荷味日记 阅读(18141) 评论(0) 推荐(4)
爬虫笔记八——Scrapy实战项目
摘要：（案例一）手机App抓包爬虫 1. items.py import scrapy class DouyuspiderItem(scrapy.Item): # 存储照片的名字 nickName = scrapy.Field() # 照片的url路径 imageUrl = scrapy.Field() 阅读全文
posted @ 2018-09-26 15:40 薄荷味日记 阅读(622) 评论(0) 推荐(0)
爬虫笔记七
摘要：Scrapy 中文手册： https://docs.pythontab.com/scrapy/scrapy0.24/index.html Scrapy的项目结构 Scrapy框架的工作流程 Scrapy Shell Item Pipeline Scrapy项目的Spider类 Scrapy项目的Cr 阅读全文
posted @ 2018-09-25 21:07 薄荷味日记 阅读(698) 评论(0) 推荐(0)
爬虫笔记六
摘要：机器视觉与Tesseract介绍 机器视觉 从 Google 的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广 泛且具有深远的影响和雄伟的愿景的领域。 我们将重点介绍机器视觉的一个分支：文字识别，介绍如何用一些 Python库来识别和使用在线图片中的文字。 我们可以很轻松的阅读图 阅读全文
posted @ 2018-09-20 22:22 薄荷味日记 阅读(236) 评论(0) 推荐(0)
爬虫笔记五
摘要：会使用BeatifulSoup4解析和提取HTML/XML 数据 Python类型和JSON类型的相互转化 JsonPath解析和提取JSON文档 使用队列进行多线程爬虫 使用Selenium和PhantomJS爬取动态页面信息 BeautifulSoup4解析器 CSS 选择器：Beautiful 阅读全文
posted @ 2018-09-20 21:10 薄荷味日记 阅读(414) 评论(0) 推荐(0)
爬虫笔记四
摘要：1、Handler处理器和Opener的作用 # encoding=utf-8 import urllib2 # cookielib 模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 import cookielib a_u 阅读全文
posted @ 2018-09-15 15:25 薄荷味日记 阅读(310) 评论(0) 推荐(0)
爬虫笔记三
摘要：1、urllib和urllib2区别 urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能，最显著的区别如下： （1）urllib仅可以接受URL，不能创建，设置headers的request类实例； （2）但是urllib提供urlencode()方法用来GET查询字符串 阅读全文
posted @ 2018-09-15 14:30 薄荷味日记 阅读(246) 评论(0) 推荐(0)
爬虫笔记二
摘要：Python 的 re 模块 re 模块的一般使用步骤如下： 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象 通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。 最后使用 Match 对象提供的属性和方法获得信 阅读全文
posted @ 2018-09-14 11:33 薄荷味日记 阅读(142) 评论(0) 推荐(0)
爬虫笔记一
摘要：一、根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 聚焦爬虫 聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序， 阅读全文
posted @ 2018-09-12 22:19 薄荷味日记 阅读(178) 评论(0) 推荐(0)