小春熙子

摘要： 1.目标分析：http://tieba.baidu.com/f?kw=%E6%9D%83%E5%8A%9B%E7%9A%84%E6%B8%B8%E6%88%8F&ie=utf-8 说明浏览器接受的是utf8的编码 （1）在浏览器上单击下一页，pn就会增加50：http://tieba.baidu.c 阅读全文

摘要： 1.与Scrapy不同的是Beautiful Soup并不是一个框架，而是一个模块；与Scrapy相比，bs4中间多了一道解析的过程（Scrapy是URL返回什么数据，程序就接受什么数据进行过滤），bs4则在接收数据和进行过滤之间多了一个解析的过程，根据解析器的不同，最终处理的数据也有所不同，加上这 阅读全文

摘要： 1.封锁user-agent破解： user-agent是浏览器的身份标识，网站就是通过user-agent来确定浏览器类型的。有很多网站会拒绝不符合一定标准的user-agent请求网页，如果网站将频繁访问网站的user-agent作为爬虫的标志，然后加入黑名单该怎么办？ （1）首先在meiju项 阅读全文

摘要： 1.创建一般的爬虫：一般来说，小于100次访问的爬虫都无须为此担心 （1）以爬取美剧天堂为例，来源网页：http://www.meijutt.com/new100.html，项目准备： scrapy startproject meiju100 F:\Python\PythonWebScraping\ 阅读全文

摘要： 1.目标分析： 2.创建编辑Scrapy爬虫： （1）执行命令： （2）编辑items.py文件： （3）Scrapy项目中间件 添加Headers： 在Scrapy项目中，掌管proxy的中间件是scrapy.contrib.downloadermiddleware.useragent.UserA 阅读全文

摘要： 1.项目准备：爬取网站：http://www.proxy360.cn/Region/China，http://www.xicidaili.com/ 2.创建编辑Scrapy爬虫： scrapy startproject getProxy scrapy genspider proxy360Spider 阅读全文

摘要： 1.数据存储到JSon：程序阅读一般都是使用更方便的Json或者cvs等待格式，继续讲解Scrapy爬虫的保存方式，也就是继续对pipelines.py文件动手脚 （1）创建pipelines2json.py文件： （2）修改Settings.py文件，将pipelines2json加入到ITEM_ 阅读全文

摘要： 1.项目准备：网站地址：http://quanzhou.tianqi.com/ 2.创建编辑Scrapy爬虫： scrapy startproject weather scrapy genspider HQUSpider quanzhou.tianqi.com 项目文件结构如图： 3.修改Items 阅读全文

摘要： 1.用Chrome浏览器重新检查网站元素：切换到Network界面 选择右边的XHR过滤(XHR时XMLHttpRequest对象，一般Ajax请求的数据都是结构化数据)，这样就剩下了为数不多的几个请求，剩下的就靠我们自己一个一个的检查吧 通过分析每个接口返回的request和response信息， 阅读全文

摘要： 1.动态网页指几种可能： 1）需要用户交互，如常见的登录操作； 2）网页通过js / AJAX动态生成，如一个html里有<div id="test"></div>，通过JS生成<divid="test"><span>aaa</span></div>； 3）点击输入关键字后进行查询，而浏览器url地 阅读全文