little_scholar

摘要： python爬虫架构 Python 爬虫架构主要由五个部分组成，分别是 调度器、URL管理器、网页下载器、网页解析器、应用程序。 调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。 URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循 阅读全文

摘要： 初识Python爬虫 互联网 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 一、什么是爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为 阅读全文