2018年8月1日
爬虫 大规模数据 采集心得和示例
摘要： 本篇主要介绍网站数据非常大的采集心得 1. 什么样的数据才能称为数据量大： 我觉得这个可能会因为每个人的理解不太一样，给出的定义 也不相同。我认为定义一个采集网站的数据大小，不仅仅要看这个网站包括的数据量的大小，还应该包括这个网址的采集难度，采集网站的服务器承受能力，采集人员所调配的网络带宽和计算机 阅读全文
posted @ 2018-08-01 11:52 淋哥 阅读(3901) 评论(0) 推荐(0) 编辑