2016年5月6日
【房价网房价信息爬虫】整站40万条房价数据并行抓取，可更换抓取城市
摘要： 写在前面 这次的爬虫是关于房价信息的抓取，目的在于练习10万以上的数据处理及整站式抓取。 数据量的提升最直观的感觉便是对函数逻辑要求的提高，针对Python的特性，谨慎的选择数据结构。以往小数据量的抓取，即使函数逻辑部分重复，I/O请求频率密集，循环套嵌过深，也不过是1~2s的差别，而随着数据规模的 阅读全文
posted @ 2016-05-06 21:57 Data&Truth 阅读(10549) 评论(9) 推荐(9)