摘要: 5种反爬机制 robots.txt:反爬机制,防君子不防小人 UA检测:UA伪装 数据加密 图片懒加载 代理ip requests模块爬取流程: 指定url 发起请求 获取页面数据 数据解析 持久化存储 bs4解析: 环境安装:bs4、lxml解析器 实例化bs对象,将页面源码数据加载到该对象中 定 阅读全文
posted @ 2019-09-19 22:39 陪伴is最长情的告白 阅读(516) 评论(0) 推荐(0)