摘要： 因为spider的原因，硬盘空间急剧减少，不得不考虑建造自己的档案库文件格式。其实这想法在数周之前，就诞生了。但因为当时按进程而且硬盘空间还不是问题，所以没有把这个提到日程。上个周，我开始动手设计这个档案库的格式。整个设计的灵魂是：如果spider的数据是gzip压缩过的，则直接保存到档案库；如果没有压缩，则压缩存入。此外，还需要存储其它的数据。周末，本来要到公司拿螺丝刀，但一时兴起又完善了一下此... 阅读全文