爬虫黑侠

摘要： 大数据深度挖掘、大数据精准营销、大数据科研等是目前比较热门的大数据应用关键词，随着大数据发展，利用大数据做营销的手段越来越丰富，但也越来越难了。 ​ 很多企业通过大数据深度爬虫技术采集了各种数据集合，但是很多数据是不是标准化的，在使用的上很难完全爆发出它的价值，所以很多企业都采用“数据标签”的方式给 阅读全文

摘要： 最近在自己用python+mongdb写了一套分布式多线程的天某查爬虫系统，实现了对天某查整个网站的全部数据各种维度的采集和存储，并且根据天某查网页的数据结构建立了50个表来存储50个维度的数据，很多做技术的朋友在爬天某查的时候会遇到以下几个问题，我把我的经历和解决方案分享给大家。 1、天某查和启某 阅读全文

摘要： python爬虫-什么时候选择selenium框架框架？爬取不同网站需要采用不同技术策略 阅读全文