yyyyyyyyyyyyyyyyyyyy

博客园 首页 新随笔 联系 订阅 管理
上一页 1 ··· 274 275 276 277 278 279 280 281 282 ··· 367 下一页

2015年8月11日 #

摘要: 开发工具29反编译工具26持续集成系统19SQL注入工具139Git开源工具138Java开发工具43.NET开发工具85PHP开发工具96C/C++开发工具70Ruby/Rails开发工具101Python开发工具27Perl开发工具73BUG跟踪管理168项目构建202单元测试工具323测试工具... 阅读全文
posted @ 2015-08-11 02:53 xxxxxxxx1x2xxxxxxx 阅读(118) 评论(0) 推荐(0)

摘要: 应用工具22思维导图软件9博客客户端15加密/解密/破解120浏览器78邮件工具327文档/文本编辑31杀毒软件177终端/远程登录195IM/聊天/语音工具74下载工具64文件传输工具101P2P/BT282图形和图像工具29图标制作工具557多媒体工具107压缩、解压缩213个人助理软件100网... 阅读全文
posted @ 2015-08-11 02:52 xxxxxxxx1x2xxxxxxx 阅读(200) 评论(0) 推荐(0)

摘要: Another Simple Crawler 又一个网络爬虫,可以支持代理服务器的FQ爬取。1.数据存在mysql当中。2.使用时,先修改web-inf/config.ini的数据链接相关信息,主要是数据库名和用户名和密码3.然后访问http://127.0.0.1/fetch/install 链接... 阅读全文
posted @ 2015-08-11 02:45 xxxxxxxx1x2xxxxxxx 阅读(355) 评论(0) 推荐(0)

摘要: WebFetch 是无依赖极简网页爬取组件,能在移动设备上运行的微型爬虫。WebFetch 要达到的目标:没有第三方依赖jar包减少内存使用提高CPU利用率加快网络爬取速度简洁明了的api接口能在Android设备上稳定运行小巧灵活可以方便集成的网页抓取组件使用文档WebFetch的使用非常简单,让... 阅读全文
posted @ 2015-08-11 02:44 xxxxxxxx1x2xxxxxxx 阅读(220) 评论(0) 推荐(0)

摘要: JAVA平台上的网络爬虫脚本语言 CrawlScript网络爬虫即自动获取网页信息的一种程序,有很多JAVA、C++的网络爬虫类库,但是在这些类库的基础上开发十分繁琐,需要大量的代码才可以完成一 个简单 的操作。鉴于这个问题,我们开发了CrawlScript这种脚本语言,程序员只需要写2-3行简单的... 阅读全文
posted @ 2015-08-11 02:43 xxxxxxxx1x2xxxxxxx 阅读(234) 评论(0) 推荐(0)

摘要: commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现。Common Crawl 提供一个示例程序 BasicArcFileReaderSample.java (位于 org.commoncrawl.samples) 用来配置 InputFormat。comm... 阅读全文
posted @ 2015-08-11 02:43 xxxxxxxx1x2xxxxxxx 阅读(257) 评论(0) 推荐(0)

摘要: guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。模块化设计完全 面向业务提供接口,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试,定制执行js、 自定义c... 阅读全文
posted @ 2015-08-11 02:42 xxxxxxxx1x2xxxxxxx 阅读(193) 评论(0) 推荐(0)

摘要: Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spide... 阅读全文
posted @ 2015-08-11 02:41 xxxxxxxx1x2xxxxxxx 阅读(163) 评论(0) 推荐(0)

摘要: 丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站 架构说明 系统是基于 Swing+Spring-3.2.4+Mybatis-3.1.1+C3p0... 阅读全文
posted @ 2015-08-11 02:40 xxxxxxxx1x2xxxxxxx 阅读(252) 评论(0) 推荐(0)

摘要: WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。http://sourceforge.net/projects/weblech/files/WebLech/weblech-... 阅读全文
posted @ 2015-08-11 02:39 xxxxxxxx1x2xxxxxxx 阅读(356) 评论(0) 推荐(0)

上一页 1 ··· 274 275 276 277 278 279 280 281 282 ··· 367 下一页