摘要：最近，由于公司需要做爬虫抓取一些新闻，在开发过程中，发现有些网站有一定的反爬措施，通过浏览器访问一切正常，通过其他方式，包括：curl，urlconnection 等，就算加入了cookie，agent等参数也不能完全正常访问，导致爬取失败。 经过网上查找资料，找到解决方案， 对于这种特殊的网站，爬 阅读全文