Python爬虫（一）规则、知识储备、Python简介、原理和流程

Python爬虫（一）规则、知识储备、Python简介、原理和流程

一、爬虫需要遵循的规则

robots.txt文件中含有一些爬虫的限制

二、知识储备

1、Python/Java/Shell/R/...

2、HTML

3、深度优先、广度优先、OCR、分布式、Hash、Oracle、Redis、...

三、Python

Python是一个解释型的语言、无需手动编译、交互式语言、面向对象语言。

Anaconda、PyCharm

四、爬虫原理与流程

 维护方法：

使用的是队列（先进先出）来实现的广度优先遍历。