01 2024 档案
爬虫基础之xpath基础语法
摘要：路径查找 //：子孙节点，不考虑层级 /：找直接子节点 谓词查询 //div【@id="content"】 属性查询 //@class 模糊查询 //div[contains(@id,"he")] //div[starts-with(@id, "he")] 内容查询 //div/h1/text()
阅读全文
爬虫的request基本使用
摘要：1. Response类型 设置响应的编码格式 # response.encoding = 'utf-8' # print(response.text) 返回url地址 # print(response.url) 返回二进制的数据 # print(response.content) 返回响应的状态码
阅读全文
爬虫的urllib使用1
摘要：1. 基础使用 import urllib.request response = urllib.request.urlopen(url) print(response.read().decode('utf-8')) print(type(response)) print(response.statu
阅读全文
爬虫常见的反爬手段
摘要：反爬 1. User-Agent 2. IP代理 快代理 3. 验证码访问 1.输入验证码 Pytesseract 百度OCR接口 深度学习 2.滑块 Opencv解决问题：读取图片 高斯模糊处理 canny边缘检测 轮廓检测 获取位置 Links:https://zhuanlan.zhihu.co
阅读全文
爬虫一些常用的函数方法
摘要：列表推导式 [表达式 for 变量 in 列表 if 条件] 匿名广播函数 x = lambda a, b : a * b 遍历函数 for i,j in enumerate(example): for q, a in zip(questions, answers):
阅读全文
python基础之文件
摘要：文件的打开关闭、文件读写、文件的序列化和反序列化 1. 文件的打开关闭 文件的打开/创建 fp = open（文件的路径，模式） // 模式：w 可写，r 可读， a追加 文件的关闭 fp.close() 2. 文件的读写 写：write() 读：read() fp.read() //一字节一字节
阅读全文
python基础之函数
摘要：包含函数定义、调用函数、函数参数、函数的返回值 1. 函数定义 def 函数名(): pass 2. 函数的调用 函数名() 3. 函数的参数 // 位置传参数 def 函数名(a,b): c = a+b print（c） 函数名（1，2） // 关键字传参数 函数名（b=200,a=300) 4.
阅读全文
python基础之字符串、列表、字典
摘要：1. 字符串 2. 列表 增加 append(obj) insert（index，obj） extend([]) 修改 下标直接赋值 查找 in/not in 删除 del：根据下标进行删除 pop:删除最后一个元素 remove：根据元素的值删除 其他的 3. 元组 // 定义一个元素的元组需要加
阅读全文
python基础之运算符
摘要：算数运算符 比较运算符 赋值运算符 复合赋值运算符 位运算符 & | ~ ^ 逻辑运算符 and、not、or 成员运算符 "in" 身份运算符 "is"
阅读全文
python基础之变量
摘要：包括：数字、字符串、列表、元组、字典以及集合 1. 数字 int型 long型（python3没有） float型 bool型 complex型 2. 字符串str str = 'Runoob' print (str[2:5]) # 输出从第三个开始到第五个的字符 print (str[2:]) #
阅读全文
计算机网络学习第一天OSI与TCP/IP模型
摘要：OSI模型与TCP/IP模型 协议是水平的，由语法、语义和同步三部分组成，服务是垂直的。 从上往下依次封装（PCI+SDU=PDU）。 1. 物理层 主要传输比特，用光、电、其他形式的电磁波传输和表示数据，里面需要中继器和集线器设备。 2. 数据链路层 主要将网络层的IP数据包（分组）封装成帧（包含
阅读全文
浙公网安备 33010602011771号