python网络爬虫与信息提取【笔记】

以下是‘’网络爬虫‘’课程（中国MOOC）学习笔记

【万能的b站】

核心思想：

The Website is the API

课程大纲：

一、Requests与robots.txt

1.Requeests 自动爬取HTML页面，自动网络请求提交

2.robots.txt

网络爬虫排除标准

二、BeautifulSoup解析HTML页面

三、Re正则表达式详解，提前页面关键信息

四、Scrapy网络爬虫原理介绍，专业爬虫框架介绍