随笔分类 -  Python爬虫

Scrapy中选择器的用法
摘要：官方文档：https://doc.scrapy.org/en/latest/topics/selectors.html Using selectors Constructing selectors Response objects expose a Selector instance on .sel 阅读全文
posted @ 2019-04-25 01:01 LXL_1 阅读(558) 评论(0) 推荐(0)
Scrapy命令行详解
摘要：官方文档：https://doc.scrapy.org/en/latest/ Global commands: startproject genspider settings runspider shell fetch view version Project-only commands: 在项目目 阅读全文
posted @ 2019-04-25 00:17 LXL_1 阅读(648) 评论(0) 推荐(0)
Scrapy框架基本用法讲解
摘要：目标站点：http://quotes.toscrape.com/ （scrape官方练习站点） 这边为了区别Python3.5 和 Python3.7 我修改了scrapy的可执行文件 创建项目文件： scrapy shell： 进行测试 可以以json格式保存在当前目录下 其他的保存方式 阅读全文
posted @ 2019-04-24 15:53 LXL_1 阅读(133) 评论(0) 推荐(0)
Scrapy安装报错
摘要：python3 pip 安装Scrapy在win10 安装报错error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visuals 阅读全文
posted @ 2019-04-24 04:00 LXL_1 阅读(189) 评论(0) 推荐(0)
pyspider常见错误
摘要：安装完爬虫框架pyspider之后，使用pyspider all 命令，可能会出现以下错误： - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead. 解决方法如下： 在安装 阅读全文
posted @ 2019-04-24 02:59 LXL_1 阅读(555) 评论(0) 推荐(0)
PySpider框架的基本用法
摘要：pyspider安装： 3.7之后无法正常使用，使用可以下载Python3.6或以下，或者修改pyspider内部代码 —————————————————————————————————————————————————————————————————————————————————— 原文地址：ht 阅读全文
posted @ 2019-04-24 01:53 LXL_1 阅读(883) 评论(0) 推荐(0)
用Flask+Redis维护Cookies池
摘要：Redis数据库：存储微博账号密码 这里需要购买账号 登录后的cookies：键值对的形式保存 GitHub：https://github.com/LXL-YAN/CookiesPool 视频讲解：https://www.bilibili.com/video/av19057145/?p=19 阅读全文
posted @ 2019-04-24 01:24 LXL_1 阅读(255) 评论(0) 推荐(0)
用代理抓取微信文章
摘要：GitHub：https://github.com/LXL-YAN/weixinArticles 阅读全文
posted @ 2019-04-23 22:43 LXL_1 阅读(207) 评论(0) 推荐(0)
用Flask+Redis维护代理池
摘要：GitHub：https://github.com/LXL-YAN/ProxyPool 视频讲解：https://www.bilibili.com/video/av19057145/?p=17 阅读全文
posted @ 2019-04-23 02:59 LXL_1 阅读(200) 评论(0) 推荐(0)
Selsnium-Chrome-PhantomJS-爬取淘宝美食
摘要：https://github.com/LXL-YAN/-Climbing-Taobao_Food 阅读全文
posted @ 2019-04-23 02:21 LXL_1 阅读(211) 评论(0) 推荐(0)
分析Ajax请求抓取今日头条街拍图片
摘要：https://github.com/LXL-YAN/Analysis-of-Ajax-Request-to-Grab-Pictures-of-Today-s-Top-Stree 阅读全文
posted @ 2019-04-23 02:19 LXL_1 阅读(143) 评论(0) 推荐(0)
python-Requests + 正则表达式爬取猫眼电影
摘要：github: https://github.com/LXL-YAN/Requests_Regular-Expressions-Crawl-CatEye-Movies 阅读全文
posted @ 2019-04-22 00:09 LXL_1 阅读(200) 评论(0) 推荐(0)
python-Selenium库的详解
摘要：一、什么是Selenium selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit 阅读全文
posted @ 2019-04-21 19:38 LXL_1 阅读(1191) 评论(0) 推荐(1)
python-PyQuery详解
摘要：PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 官网地址：htt 阅读全文
posted @ 2019-04-21 17:18 LXL_1 阅读(842) 评论(0) 推荐(0)
python-BeautifulSoup库详解
摘要：快速使用 通过下面的一个例子，对bs4有个简单的了解，以及看一下它的强大之处： 结果如下： 基本使用 标签选择器 在快速使用中我们添加如下代码：print(soup.title)print(type(soup.title))print(soup.head)print(soup.p) 通过这种soup 阅读全文
posted @ 2019-04-21 02:14 LXL_1 阅读(462) 评论(0) 推荐(0)
python-正则表达式
摘要：什么是正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是 事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符”，这个“规则字符” 来表达对字符的一种过滤逻辑。 正则并不是python独有的，其他语言也都有正则python中的正则，封装了re模块 python正则的详细讲解 常用 阅读全文
posted @ 2019-04-21 01:50 LXL_1 阅读(279) 评论(0) 推荐(0)
Python-Requests库详解
摘要：查看一下是否安装requests库 什么是Requests Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库如果你看过上篇文章关于urllib库的使用，你会发现，其实urllib还是非常不方便的，而Requests它会比urll 阅读全文
posted @ 2019-04-21 00:57 LXL_1 阅读(1873) 评论(0) 推荐(0)
Python-Urllib库详解
摘要：官方文档地址：https://docs.python.org/3/library/urllib.html 什么是Urllib： Urllib是python内置的HTTP请求库： urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块url 阅读全文
posted @ 2019-04-20 20:52 LXL_1 阅读(694) 评论(0) 推荐(1)
Python-爬虫的基本原理
摘要：什么是爬虫 爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！下面我们分析爬虫的基本流程 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应 获取响应内容如果服务器能正常响应，会得到一 阅读全文
posted @ 2019-04-20 15:10 LXL_1 阅读(323) 评论(0) 推荐(0)