11 2016 档案

Crawler4j学习笔记
摘要：Crawler4j概述 crawler4j是一款基于Java的轻量级单机开源爬虫框架，最大的一个特点就是简单。另外也支持多线程、支持代理、可以过滤重复URL 基本上从加载jar到工程里面 通过修改示例的代码就可以简单的实现一个爬虫的全部功能，而这一切动作加起来都不需要超过半个小时。 爬虫安装 官方文 阅读全文
posted @ 2016-11-08 19:49 MurryK 阅读(3619) 评论(0) 推荐(0)
数据处理项目Beta阶段软件架构建议
摘要：class：Dataserver class：Crawler class: DataAnalysis tips： 1. 考虑线程安全 2. 统一错误输出 3. 对于需要标准化的东西一致写到readme里面 阅读全文
posted @ 2016-11-07 22:29 MurryK 阅读(173) 评论(0) 推荐(0)