摘要：爬虫的概念 什么的互联网爬虫 通过一个程序，根据URL地址进行爬取网页，获取有用的信息 使用程序模拟浏览器，通过向服务器发送请求，获取响应信息 爬虫的用途 数据分析、人工数据集 社交软件冷启动 舆情监控 监控竞争对手 爬虫分类 通用爬虫 聚焦爬虫 反爬手段 1、User-Agent 2、代理IP 3 阅读全文