摘要：列表[List] 元组(truple) 字典{dict} 生成器（generator） 带有 yield 的函数在 Python 中被称之为 generator（生成器） 迭代器 iterator 迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代 阅读全文

摘要：为什么要用分布式爬虫 学习爬虫已经有一段时间了，之前的爬虫都是一个python文件就实现的，没考虑性能，效率之类的。所以作为一个合格的spider，需要学习一下分布式爬虫。 什么分布式爬虫？简单地说就是用多台服务器去获取数据，让这些服务器去协同，分配各自的任务。 分布式爬虫设计 最常用的一种就是主从 阅读全文

摘要：本文绍如何利用python爬虫下载bilibili番剧弹幕。 准备： 1. python3环境 2. 需要安装BeautifulSoup,selenium包 3. phantomjs 原理: 1. 通过aid下载bilibili番剧弹幕 2. 通过aid获取cid，如: http://www.bil 阅读全文