摘要： 前面基本将爬虫的基础知识学习得差不多了，今天最后深入下requests模块，这个写完之后，一般的网站大家都可以去爬取了，后面会慢慢给大家分享一些烧脑的东西，今天还是先说说requests模块。 思考问题1：如果一个网站需要账号密码登录后才能获得自己想要的东西，这个时候怎么进行爬取呢？ 答案分享：如果 阅读全文

摘要： 今天来学习一个之后会一直用到的解析方式：xpath，这个是重点，必须会。 首先我们需要安装lxml模块： pip install lxml 用法： 1、将要解析的html内容构造出etree对象； 2、使用etree对象的xpath()方法配合xpath表达式来完成对数据的提取。 我们先来看看xpa 阅读全文