爬虫基本操作

分类

  • 爬虫分为定向与不定向

基本操作

  • 简单来说就是通过指定的url取出数据
  • 发送http请求：
  • 基于正则表达式匹配获取内容
  • 用BeautifulSoup

可以先用requests获取网页内容
之后用BeautifulSoup解析
BeautifulSoup(text,http.parser)
之后可以用find寻找对应项，get可以得到对应属性，text可以得到文本

posted @ 2019-03-24 21:56  Chennel  阅读(276)  评论(1)  编辑  收藏  举报