摘要： lxml模块如何使用 from lxml import etree element = etree.HMTL(str,bytes) element.xpath("xpath表达式") etree.tostring(element) #把element转化为字符串 xpath有哪些常用方法 // 从任 阅读全文

摘要： 准备url 准备start_url url地址规律不明显，总数不确定 通过代码提取下一页的url xpath 寻找url地址，部分参数在当前的响应中（比如，当前页码数和总的页码数在当前的响应中） 准备url_list 页码总数明确 url地址规律明显 发送请求，获取响应 添加随机的User-Agen 阅读全文