摘要：Python爬虫总结（二）常见数据类型 上一篇我们简单介绍了如何用Python发送 http/https 请求获取网上数据,从web上采集回来的数据的数据类型有很多种,主要有: 注意:这里很多概念都是web前端开发里的,因为我们采集的大多数数据都来自web,因此了解一些前端知识还是挺有必要的. 下面 阅读全文

摘要：Python爬虫总结（一）入门 很多做数据分析的同学会抱怨没有实际数据，感觉巧妇难为无米之炊，而火车头采集器一类的软件很难完成一些定制性很强的数据采集任务，这时候就需要自己编写爬虫来采集数据了。python是目前做爬虫比较流行的工具。 爬虫的一般原理 爬虫一般通过发送http/https请求，从服务 阅读全文

摘要：自己编写一个简单的微博爬虫 前言 很多做社交媒体数据分析的同学需要采集一些新浪微博上的数据，新浪微博虽然有提供api，但免费的api对获取的数据项和获取的频率都有很大的限制，商业版api据说限制较少，但是作为屌丝学生党拿来那么多钱买买商业版的api？！！！用类似于火车头采集器这种工具又很难解决问题， 阅读全文