Atitit atiplat_reader 基于url阅读器的新特性

 

Atitit atiplat_reader 基于url阅读器的新特性

 

1.1. feature功能特性1

1.2. note1

 

1.1. feature功能特性

 

支持url数据源,实际就是只支持一层连接爬取的爬虫。。

 

数据源管理使用explore+notepad++管理,分组使用单个文件。。文件里面是urls

 

 

定时任务使用ping 工具来实现。。

 

直接抓取使用bat文件。。

Batch批量抓取

 

云阅读爬虫的实现,使用 ftp分布式远程即可。哈哈。

 

1.2. note

保存html的时候,应该使用二进制模式,避免编码选择。。

 

 

1.3. 调用C:\0workspace\atiplat_spider\reader.bat

 

 

 

public static void main(String[] args) {

String url = args[0];

String savedir = args[1];

 

if (System.getProperty("mode") != null && System.getProperty("mode").equals("batch")) {

new Reader().rssDirMode(System.getProperty("feedDir"), savedir);

} else

new Reader().rssSingle(url, savedir);

System.out.println("-------------fini");

}

 

 

 

 

 

 

作者:: 绰号:老哇的爪子claw of Eagle 偶像破坏者Iconoclast image-smasher

捕鸟王"Bird Catcher 王中之王King of Kings 虔诚者Pious 宗教信仰捍卫者 Defender Of the Faith. 卡拉卡拉红斗篷 Caracalla red cloak

简称:: Emir Attilax Akbar 埃米尔 阿提拉克斯 阿克巴

全名::Emir Attilax Akbar bin Mahmud bin  attila bin Solomon bin adam Al Rapanui 埃米尔 阿提拉克斯 阿克巴 马哈茂德  阿提拉 所罗门 本亚当  阿尔 拉帕努伊

常用名:艾提拉(艾龙),  EMAIL:1466519819@qq.com

 

 

头衔:uke总部o2o负责人,全球网格化项目创始人,

uke宗教与文化融合事务部部长, uke宗教改革委员会副主席

Uke部落首席大酋长,

uke制度与重大会议委员会委员长,uke保安部首席大队长,uke制度检查委员会副会长,

奶牛科技cto ,uke 首席cto  技术总监 研发总监 研发主管 部门总监

uke波利尼西亚区大区连锁负责人 汤加王国区域负责人。

uke克尔格伦群岛区连锁负责人,莱恩群岛区连锁负责人,

uke布维岛和南乔治亚和南桑威奇群岛大区连锁负责人

 Uke软件标准化协会理事长理事长 uke终身教育学校副校长

Uke 数据库与存储标准化协会副会长 uke出版社编辑总编

Uke医院 与医学院方面的创始人

 

转载请注明来源:attilax的专栏  ?http://www.cnblogs.com/attilax/

--Atiend

 

 

 

posted @ 2017-01-08 03:37  attilaxAti  阅读(340)  评论(0编辑  收藏  举报