摘要： 大家好，本月第一次更新。 最近找了一份关于爬虫的实习工作，需要爬取较大量的数据，这时就发现通过自己编写函数来实现爬虫效率太慢了；于是又转回来用scrapy，以前稍微学习了一下，这次刚好爬爬微博练练手，而后再使用部分数据生成词云。 本次爬取的是新浪微博移动端（https://m.weibo.cn/）， 阅读全文

摘要： 上一次分享了使用matplotlib对爬取的豆瓣书籍排行榜进行分析，但是发现python本身自带的这个绘图分析库还是有一些局限，绘图不够美观等，在网上搜索了一波，发现现在有很多的支持python的绘图库可以使用，本次尝试使用pyecharts对爬取的数据进行分析，然后发现这个库实在是太好用了，生成的 阅读全文

摘要： Python爬取豆瓣图书排行榜 阅读全文

摘要： 还有一年多就要毕业了，不准备考研的我要着手准备找实习及工作了，所以一直没有更新。 因为Python是自学不久，发现很久不用的话以前学过的很多方法就忘了，今天打算使用简单的BeautifulSoup和一点正则表达式的方法来爬一下top100电影，当然，我们并不仅是使用爬虫爬取数据，这样的话，数据中存在 阅读全文

摘要： 今天在爬知乎精华时，出现了‘Forbidden by robots.txt’的问题 了解到到scrapy在爬取设定的url之前，它会先向服务器根目录请求一个txt文件，这个文件规定了爬取范围 scrapy会遵守这个范围协议，查看自己是否符合权限，出错说明不符合，所以我们只要不遵守这个协议就Ok了 在 阅读全文

摘要： Scrapy爬取动态网页实例——简书 阅读全文

摘要： 关于Python安装twisted报错的问题 阅读全文