09 2012 档案

摘要:采集系统升级目标1、代理功能,目前用过路由换IP地址,经常由于切换太频繁了,导致路由死了要重启2、采集进本地数据库,将符合要求的进采集服务器,再由采集自动进系统后台,减少服务器的负担。方便栏目分化。设置采集源的数据保存在采集数据库。通过页面管理各栏目的采集源。对采集源进行批量操作。3、多线程采集4、翻页不只有递增的情况,需要另一种情况N*一页的行数。5、针对列表与详细页面中网页编码不同的情况。6、报警机制:如果列表或是标题内容采集不到的情况,提示7、时时采集数量统计页面,显示主要栏目下采集的数量用于控制。8、采集信息的记录带上采集源的Source_id,便于跟踪信息有效率。9、可以模拟登录采集 阅读全文
posted @ 2012-09-18 18:15 yizl 阅读(168) 评论(0) 推荐(0)