Maple2cat

摘要： 之前在学习爬虫时，偶尔会遇到一些问题是有些网站需要登录后才能爬取内容，有的网站会识别是否是由浏览器发出的请求。 一、headers的获取 就以博客园的首页为例：http://www.cnblogs.com/ 打开网页，按下F12键，如下图所示： 点击下方标签中的Network，如下： 之后再点击下图 阅读全文

摘要： 本文是博主原创随笔，转载时请注明出处Maple2cat|Python爬虫学习：三、爬虫的基本操作与流程 一般我们使用Python爬虫都是希望实现一套完整的功能，如下： 1.爬虫目标数据、信息； 2.将数据或信息存入数据库中； 3.数据展示，即在Web端进行显示，并有自己的分析说明。 这次我先介绍第一 阅读全文

摘要： 我使用的编辑器是IDLE，版本为Python2.7.11，Windows平台。 本文是博主原创随笔，转载时请注明出处Maple2cat|Python爬虫学习：二、爬虫的初步尝试 1.尝试抓取指定网页 我使用urllib2这个库，有关这个库的详细解释请看Python 标准库 urllib2 的使用细节 阅读全文

摘要： 爬虫： 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。 聚焦爬虫的工作流程较为复杂，需要根据一定的网页分 阅读全文