摘要：1.URL star_url 当URL规律特别明显的时候，构建URL地址 直接在页面中提取下一页的URL 2.发送请求获取相应 添加随机的User-Agent 添加随机的代理IP 在对方判断出我们是爬虫后，应该添加更多的headers字段，包括cookie cookie的处理可以用session 如 阅读全文