第九节：web爬虫之urllib（五）

 第四个模块 robotparser：

　　主要是用来识别网站的 robots.txt 文件，然后判断哪些网站可以爬，哪些网站不可以爬的，其实用的比较少。