随笔分类 -  爬虫

摘要：python爬虫-基础入门-python爬虫突破封锁 >> 相关概念 >> request概念：是从客户端向服务器发出请求，包括用户提交的信息及客户端的一些信息。客户端可通过HTML表单或在网页地址后面提供参数的方法提交数据。让后通过request对象的相关方法来获取这些数据。request的各种方 阅读全文

摘要：python爬虫-基础入门-爬取整个网站《3》 描述： 前两章粗略的讲述了python2、python3爬取整个网站，这章节简单的记录一下python2、python3的区别 python2.x 使用类库： >> urllib 库 >> urllib2 库 python3.x 使用的类库： >> u 阅读全文

摘要：python爬虫-基础入门-爬取整个网站《2》 描述： 开场白已在《python爬虫-基础入门-爬取整个网站《1》》中描述过了，这里不在描述，只附上 python3 的代码。 python3 脚本代码： 注意： 在python3中包urllib2归入了urllib中，所以要导入urllib.requ 阅读全文

摘要：python爬虫-基础入门-爬取整个网站《1》 描述： 使用环境：python2.7.15 ，开发工具：pycharm，现爬取一个网站页面（http://www.baidu.com）所有数据。 python代码如下： 执行后baidutext.txt数据，部分截图如下： 打开浏览器，访问百度，鼠标右 阅读全文