python开发轻量级爬虫

课程目标:

python开发轻量级爬虫

课程内容:

爬虫简介

  • 爬虫:一段自动抓取互联网信息的程序

简单爬虫架构

  • 爬虫调度器
  • URL管理器、
  • 网页下载器(urllib2)、
  • 网页解析器(BeautifulSoup4)
  • 网页生成器

完整实例

  • 爬取百度百科1000个页面的数据
 





posted @ 2017-03-25 16:59  Mr.xiaobai丶  阅读(209)  评论(0编辑  收藏  举报