JJJhr - 博客园

2024年5月29日

摘要： Ajax 分析与爬取实战准备工作安装好 Python3 了解 Python HTTP 请求库 requests 的基本用法了解 Ajax 基础知识和分析 Ajax 的基本方法爬取目标以一个示例网站来实验一下 Ajax 的爬取，链接为：https://spa1.scrape.center/，阅读全文

posted @ 2024-05-29 01:55 JJJhr 阅读(112) 评论(0) 推荐(0)

Ajax分析方法

摘要： Ajax 分析方法以前面的微博为例，拖动刷新的内容由 Ajax 加载，而且页面的 URL 没有变化，那么应该到哪里去查看这些 Ajax 请求呢？查看请求需要借助浏览器的开发者工具，下面以 Chrome 浏览器为例。用 Chrome 浏览器打开微博的链接 https://m.weibo.cn/ 阅读全文

posted @ 2024-05-29 01:54 JJJhr 阅读(66) 评论(0) 推荐(0)

2024年5月24日

parsel的使用

摘要：介绍 parsel这个库可以解析HTML和XML，并支持使用XPath和CSS选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能。parsel灵活强大，同时也是Python最流行的爬虫框架的底层支持。 parsel的API和Scrapy选择器的API极其相似，因为Scrapy的选择器就是基阅读全文

posted @ 2024-05-24 16:07 JJJhr 阅读(280) 评论(0) 推荐(0)

Beautiful Soup的使用

摘要：学习了正则表达式的相关用法，一旦正则表达式写的有问题，得到的可能就不是想要的结果了。对于一个网页来说，都有一定的特殊结构和层级关系，很多节点都有 id 或 class 来作区分，所以借助它们的结构和属性来提取也可以。 Beautiful Soup是一个强大的解析工具，它借助网页的结构和属性等特性来阅读全文

posted @ 2024-05-24 16:06 JJJhr 阅读(37) 评论(0) 推荐(0)

pyquery的使用

摘要：使用 pyquery 若对 Web 有所涉及，比较喜欢用 CSS 选择器，对 jQuery 有所了解，可以使用解析库 ——pyquery。准备工作安装 pyquery库 pip3 install pyquery 初始化像 Beautiful Soup 一样，初始化 pyquery 的时候，也需阅读全文

posted @ 2024-05-24 16:06 JJJhr 阅读(92) 评论(0) 推荐(0)

XPath的使用

摘要：正则表达式比较烦琐，万一有地方写错了，可能导致匹配失败，所以使用正则表达式提取页面信息多多少少还是有些不方便。对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。那么，在页面解析时，利用 XP 阅读全文

posted @ 2024-05-24 16:05 JJJhr 阅读(81) 评论(0) 推荐(0)

基础爬虫案例实战

摘要：准备工作 Python3，3.6以上的版本了解Python多进程的基本原理了解PythonHTTp请求库requests的基本用法了解正则表达式的用法和正则表达式re的基本用法爬取目标静态网站案例，包含一些电影信息。电影详情页需完成的目标： requests爬取站点的每一页电影列表，顺阅读全文

posted @ 2024-05-24 02:11 JJJhr 阅读(95) 评论(0) 推荐(0)

httpx的使用

摘要： urllib和requests库已经可以爬取大多数网站的数据，但对于一些强制使用HTTP/2.0协议访问，这时urllib和requests是无法爬取数据的，因为只支持HTTP/1.1，不支持HTTP/2.0。可以使用一些支持HTTP/2.0的请求库，比较有代表性的是hyper和httpx，后者用起阅读全文

posted @ 2024-05-24 01:47 JJJhr 阅读(1391) 评论(0) 推荐(0)

正则表达式

摘要：常用的匹配规则匹配规则描述示例 . 匹配除换行符以外的任何单个字符 a.b 匹配 aab, a0b, a*b ^ 匹配字符串的开始 ^abc 匹配 abcdef 中的 abc $ 匹配字符串的结尾 abc$ 匹配 123abc 中的 abc * 匹配前面的字符 0 次或多次 ab*c 匹配 a 阅读全文

posted @ 2024-05-24 01:44 JJJhr 阅读(691) 评论(0) 推荐(1)

requests的使用

摘要：准备工作安装request库 pip install request 实例引入 get方法实现GET请求，返回一个Response对象，存放在变量r中，分别输出响应的类型、状态码、响应体的类型、内容以及cookie import requests r = requests.get('http:// 阅读全文

posted @ 2024-05-24 01:42 JJJhr 阅读(53) 评论(0) 推荐(0)

JJJhr'blog

公告