星朝 - 博客园

2017年11月28日

摘要：最近，因为未来工作的需要，我尝试安装部署了分布式爬虫系统Nutch，并配置了伪分布式的Hadoop来存储爬取的网页结果，用solr来对爬下来的网页进行搜索。我主要通过参考网上的相关资料进行安装部署的。但网上的资料很多比较乱，我也走了一些阅读全文

posted @ 2017-11-28 10:32 星朝阅读(1260) 评论(0) 推荐(0)

深入分析 Java 中的中文编码问题

摘要：几种常见的编码格式为什么要编码不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表阅读全文

posted @ 2017-11-28 10:06 星朝阅读(351) 评论(0) 推荐(0)

Lucene学习

摘要： 1. 全文检索基础 1.1. 我们身边的搜索功能 1. Windows系统中的有搜索功能：打开“我的电脑”，按“F3”就可以使用查找的功能，查找指定的文件或文件夹。搜索的范围是整个电脑中的文件资源。 2. Eclipse中的帮助子系统：点击HelpàHelp& 阅读全文

posted @ 2017-11-28 09:57 星朝阅读(1745) 评论(2) 推荐(0)

2017年11月27日

Nutch命令大全

摘要： Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。主要的命令如下： 1. Crawl Crawl是“org.apache.nutch.crawl.Crawl”的别称，它是一个完整的爬取和索引过程命令。使用方法： Shell代码 bin 阅读全文

posted @ 2017-11-27 16:30 星朝阅读(466) 评论(0) 推荐(0)

Nutch的配置（使用MySQL作为数据存储）

摘要：首先先从http://www.apache.org/dyn/closer.cgi/nutch/下载安装包这里假定nutch的根目录为：${APACHE_NUTCH_HOME} 配置${APACHE_NUTCH_HOME}/ivy/ivy.xml，确保Nutch使用MySQL作为数据存储将 [ht 阅读全文

posted @ 2017-11-27 15:25 星朝阅读(492) 评论(0) 推荐(0)

MySQL简单实现多字段模糊查询

摘要： MySQL简单实现多字段模糊查询原创 2016年05月03日 16:40:20 标签： <! [startarticletags] java / 编程 / mysql / <! [endarticletags] 11648 <! <li <button class="btn noborder bu 阅读全文

posted @ 2017-11-27 15:21 星朝阅读(1010) 评论(0) 推荐(0)

nutch的一些基础整理

摘要： nutch的一些基础整理原创 2015年03月22日 18:18:01 标签： <! [startarticletags] nutch / <! [endarticletags] 240 <! <li <button class="btn noborder but comment topicon" 阅读全文

posted @ 2017-11-27 14:43 星朝阅读(282) 评论(0) 推荐(0)

Java分布式爬虫Nutch教程——导入Nutch工程，执行完整爬取

摘要： Java分布式爬虫Nutch教程——导入Nutch工程，执行完整爬取 by briefcopy · Published 2016年4月25日 · Updated 2016年12月11日在使用本教程之前，需要满足条件： 1）有一台Linux或Linux虚拟机 2）安装JDK（推荐1.7） 3）安装A 阅读全文

posted @ 2017-11-27 14:32 星朝阅读(1206) 评论(0) 推荐(0)

Nutch2 WebPage写入数据库的过程分析

摘要：版本: Nutch 2.2.1 本文通过InjectJob来追踪webpage的定义、创建、传递、序列化、写入数据库的整个过程。从源码中摘录了重要的代码行，并标明其所在文件名、行号。 1. 定义 schema schema直接写在源代码里面： [cpp] view plain copy print? 阅读全文

posted @ 2017-11-27 14:12 星朝阅读(349) 评论(0) 推荐(0)

Nutch2 WebPage 字段解释

摘要： Nutch2 WebPage 字段解释 Nutch2.2.1 id 主键，根据网页url生成(格式：reversed domain name:protocol:port and path),因此，Nutch2只能保存当前网页的状态，而不能保存历史信息阅读全文

posted @ 2017-11-27 13:58 星朝阅读(280) 评论(0) 推荐(0)

星朝

公告