摘要：
[TOC] 逻辑 估算了一下博客园的用户数，大约为47万，生成"005684"这样的六位字符，构造url。 根据url爬取页面，解析xml，取出数据，存入DB。 两种存储方式：json或者直接存入MongoDB 如果响应时间过长 | 尝试次数过多 | 返回页面为空 则抛弃该url并休息，然后进行下一 阅读全文
posted @ 2018-04-02 22:34
小鑫同学
阅读(706)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2018-04-02 12:17
小鑫同学
阅读(3)
评论(0)
推荐(0)
浙公网安备 33010602011771号