随笔分类 -  python

简单爬虫-boss直聘信息爬取
摘要：最近在学习爬虫，找boss直聘练练手，下面是爬取的思路： 1.为了防止简单的反爬虫，使用了代理IP和随机生成user-agent，用方法封装了； 2.先在网页上正常访问boss，按F12查看访问信息，选择地点和搜索关键字，搜索； 3.将F12上看到的请求头信息保存下来，放在自己代码中，cookie用 阅读全文
posted @ 2020-08-17 00:50 大燕向南飞 阅读(3691) 评论(0) 推荐(0)