摘要：谷歌游览器打开开发者工具 然后，选手机模拟和选择合适的手机样子。 这种可以修改UA，但是，不够定制化。 这个时候就可以在开发者工具的右上角点击 三个点 (More Tools - NetWork Conditions) 然后，就会在控制台的位置出现 然后，取消 select automaticall 阅读全文

摘要：在爬虫，爬数据的时候，很容易出现IP锁定，403，验证码等情况，一般出现此类情况的时候，就会用IP代理，来实现，大量的频繁更换IP 来实现数据的频繁爬取和并发爬取。 现在的方式是增加一个这个的一个服务，一直跑几个免费的IP平台，大致也是这个流程 以上图片来源于网络. 其中代理的网站大致有: 链接：h 阅读全文

摘要：解决方案就是 去除谷歌游览器的 启动参数 --enable-automation 这个属性会使 navigator.webdriver 为 True 阅读全文

摘要：爬虫简而言之就是一个HTTP 或者 HTTPS 请求。 那么，自然是包含两部分的。 主要是 请求参数 URL 会包含一些 根据URL 和时间 生成的 唯一Key等参数请求头 CookieHostRefererUser-AgentX-Requested-With(ajax 请求头)或者其他自定义请求头 阅读全文