摘要：
Scrapy框架的使用 - pySpider - 什么是框架？ - 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中） - scrapy集成好的功能： - 高性能的数据解析操作（xpath） - 高性能的数据下载 - 高性能的持久化存储 - 中间件 - 全栈数据爬取操作 - 阅读全文
posted @ 2020-05-08 11:59
佛祖让我来巡山
阅读(302)
评论(0)
推荐(0)
摘要：
# 抓取梨视频网站的短视频 from lxml import etree import os import requests import re dirName="./videoLibs" if not os.path.exists(dirName): os.mkdir(dirName) url=" 阅读全文
posted @ 2020-05-08 00:06
佛祖让我来巡山
阅读(205)
评论(0)
推荐(0)
摘要：
- selenium模块在爬虫中的使用 - 概念：是一个基于浏览器自动化的模块。 - 爬虫之间的关联： - 便捷的捕获到动态加载到的数据。（可见即可得） - 实现模拟登陆 - 环境安装：pip install selenium - 基本使用： - 准备好某一款浏览器的驱动程序：http://chro 阅读全文
posted @ 2020-05-08 00:04
佛祖让我来巡山
阅读(167)
评论(0)
推荐(0)
浙公网安备 33010602011771号