2023年10月9日
数据解析之XPATH
摘要： 数据解析之XPATH 1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 2、解析流程与使用 解析流程 实例化一个etree的对象，把即将被解析的页面源码加载到该对象 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取 使用 阅读全文
posted @ 2023-10-09 09:30 生而自由爱而无畏 阅读(78) 评论(0) 推荐(0)
数据解析之Beautifulsoup
摘要： 一、BeautifulSoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通过解析文档为用户提供需要抓取 阅读全文
posted @ 2023-10-09 09:13 生而自由爱而无畏 阅读(182) 评论(0) 推荐(0)
2023年10月8日
数据解析之re正则表达式
摘要： 数据解析之re正则表达式 1. 正则基础 1.1 为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数，给函数一个字符串，如果是手机号则返回True，否则返回False 代码 def isPhone(phone): # 长度为11 # 全部都是数字字符 # 以1开头 pass if 阅读全文
posted @ 2023-10-08 17:56 生而自由爱而无畏 阅读(222) 评论(0) 推荐(0)
python基础内容
摘要： python基础内容 ## 1. 关于爬虫的特殊性 爬虫是一个很蛋疼的东西, 可能今天讲解的案例. 明天就失效了. 所以, 不要死盯着一个网站干. 要学会见招拆招(爬虫的灵魂) 爬虫程序如果编写的不够完善. 访问频率过高. 很有可能会对服务器造成毁灭性打击, 所以, 不要死盯着一个网站干. 请放慢你 阅读全文
posted @ 2023-10-08 12:09 生而自由爱而无畏 阅读(545) 评论(0) 推荐(0)
爬虫面试题梳理
摘要： 1. 常见的反爬虫和应对方法？ 1. 基于身份识别进行反爬 (1) 用户请求的headers - headers知识补充： - host：提供了主机名及端口号 - Referer 提供给服务器客户端从那个页面链接过来的信息（有些网站会据此来反爬） - Origin：Origin字段里只包含是谁发起的 阅读全文
posted @ 2023-10-08 09:59 生而自由爱而无畏 阅读(571) 评论(0) 推荐(0)
对称加密和非对称加密
摘要： 1. 对称加密 所谓对称加密就是加密和解密用的是同一个秘钥. 也称为共享密钥加密算法，是一种将明文加密成密文的加密算法。其特点是加密和解密使用相同的密钥，也就是说，密钥是公开的，双方通过协商得到同一个密钥，然后使用该密钥对明文进行加密和解密操作。 对称加密算法的优点是算法简单、加密解密速度快，适合对 阅读全文
posted @ 2023-10-08 09:53 生而自由爱而无畏 阅读(60) 评论(0) 推荐(0)
URLEncode和Base64
摘要： 1. URLEncode和Base64 在我们访问一个url的时候总能看到这样的一种url https://www.sogou.com/web?query=%E5%90%83%E9%A5%AD%E7%9D%A1%E8%A7%89%E6%89%93%E8%B1%86%E8%B1%86&_asf=www 阅读全文
posted @ 2023-10-08 09:46 生而自由爱而无畏 阅读(216) 评论(0) 推荐(0)
MD5算法
摘要： # MD5算法 在我们进行js逆向的时候. 总会遇见一些我们人类无法直接能理解的东西出现. 此时你看到的大多数是被加密过的密文. MD5是一个非常常见的摘要(hash)逻辑. 其特点就是小巧. 速度快. 极难被破解. 所以, md5依然是国内非常多的互联网公司选择的密码摘要算法. 1. 这玩意不可逆 阅读全文
posted @ 2023-10-08 09:39 生而自由爱而无畏 阅读(123) 评论(0) 推荐(0)
2023年8月28日
05 Ajax请求（扩展，延伸）
摘要： ##### 05 Ajax请求（扩展，延伸） 首先, 我们用Flask创建一个后台服务器(自己做网站了哈) 目录结构: ![image](https://img2023.cnblogs.com/blog/2595693/202308/2595693-20230828171329441-1496948 阅读全文
posted @ 2023-08-28 17:19 生而自由爱而无畏 阅读(19) 评论(0) 推荐(0)
04 jQuery遍历器
摘要： ##### 04 jQuery遍历器 如果jQuery一次性选择了很多元素节点. 而我们又希望能拿到每一个元素中的相关信息. 此时可以考虑用jQuery的遍历器来完成对元素的循环遍历。 例如： ```html Title 吃饭 睡觉 打豆豆 吹牛 ``` 阅读全文
posted @ 2023-08-28 17:10 生而自由爱而无畏 阅读(15) 评论(0) 推荐(0)