随笔分类 -  PYTHON

我的第一个python 多线程小程序 用来爬图

摘要：import requests from lxml import etree import os import threading from queue import Queue import time class Meizitu: def __init__(self): self.url_temp 阅读全文

posted @ 2020-04-16 20:34 两只小白菜一只小鸡 阅读(227) 评论(0) 推荐(0) |

Xpath

摘要：lxml模块如何使用 from lxml import etree element = etree.HMTL(str,bytes) element.xpath("xpath表达式") etree.tostring(element) #把element转化为字符串 xpath有哪些常用方法 // 从任 阅读全文

posted @ 2020-04-14 21:49 两只小白菜一只小鸡 阅读(137) 评论(0) 推荐(0) |

实现爬虫的套路

摘要：准备url 准备start_url url地址规律不明显，总数不确定 通过代码提取下一页的url xpath 寻找url地址，部分参数在当前的响应中（比如，当前页码数和总的页码数在当前的响应中） 准备url_list 页码总数明确 url地址规律明显 发送请求，获取响应 添加随机的User-Agen 阅读全文

posted @ 2020-04-14 21:06 两只小白菜一只小鸡 阅读(139) 评论(0) 推荐(0) |

正则表达式（二）

摘要：1.贪婪与非贪婪 1.什么是正则表达式的贪婪与非贪婪匹配 如：String str="abcaxc"; Patter p="ab.*c"; 贪婪匹配:正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。如上面使用模式p匹配字符串str，结果就是匹配到：abcaxc(ab.*c)。 非贪婪匹配：就 阅读全文

posted @ 2020-04-09 10:05 两只小白菜一只小鸡 阅读(129) 评论(0) 推荐(0) |

正则表达式

摘要：1.[^A] /^A/会匹配"An e"中的A，但是不会匹配"ab A"中的A，此时^A的意思是“匹配开头的A” /[^a-z\s]/会匹配"my 3 sisters"中的"3 "，此时^的意思是“非”，类似的有 [^a]表示“匹配除了a的任意字符”。 [^a-zA-Z0-9]表示“找到一个非字母也 阅读全文

posted @ 2020-04-08 21:25 两只小白菜一只小鸡 阅读(144) 评论(0) 推荐(0) |

Python4.6

摘要：1.requests.session python有一个非常强大的接口测试第三方库 -- requests很多学习Python的同学们可能都知道requests库的用法，但是不知道的是还有另外一种用法：requests.sessionsession其实是一个会话类，requests的所有请求方法，底 阅读全文

posted @ 2020-04-06 21:42 两只小白菜一只小鸡 阅读(117) 评论(0) 推荐(0) |

博客园  ©  2004-2026
浙公网安备 33010602011771号 浙ICP备2021040463号-3