yalier

摘要： nutch开发(二) 文章目录 nutch开发(二)开发环境 1.爬取后生成的目录结构crawldblinkdbsegments 2.阅读TestCrawlDbMergercreateCrawlDb读取crawldb 3.关于索引的建立4.创建一个一步式的爬虫启动类创建启动类关于如何配置solr服务 阅读全文

摘要： solr 使用IK分词器 1.jar包下载地址 https://repo1.maven.org/maven2/com/github/magese/ik-analyzer/ 使用wget下载 wget https://search.maven.org/remotecontent?filepath=co 阅读全文

摘要： Nutch 开发(一) 文章目录 Nutch 开发(一)开发环境 1.IDEA 导入nutch项目2.nutch源码目录了解3.Nutch爬取步骤4.启动类的介绍5.Nutch的sh脚本6.运行injector6.1 配置6.2创建一个url列表6.3 IDEA创建启动6.4 运行效果对等 7.In 阅读全文

摘要： Nutch2.x 存储方式配置 Nutch2.x存储映射技术Gora 在Nutch2.x只后，Nutch存储映射使用apache的Gora(Gora是一个开源的ORM框架)，为了了解Gora是个什么东西，我就从网上随便搜了一些Gora框架的介绍。 Gora就是一个大数据的表示与持久化框架，它有如下特 阅读全文

摘要： nutch的index-writers.xml 出现在较高版本的nutch中 该文件出现在比较高的nutch版本，对于一些比较低的nutch版本中并没有这个配置文件，如：在nutch1.7中并没有这个index-writers.xml。 在版本nutch1.7中对于索引的映射配置文件在solrind 阅读全文

摘要： Ubuntu登录后黑屏，或者桌面图标消失不见 原因一 Ubuntu的图形界面模块损毁了 方法一 重新安装xserver-xorg-lts-quantal，如果提示没有包xserver-xorg-lts-quantal，证明图形界面不是用xserver-xorg-lts-quantal，换下面的方法继 阅读全文

摘要： Nutch 使用metadata plugin捕获页面中的meta标签数据 添加index-metadata和parse-metatags 要使用Nutch的插件，就需要在conf/nutch-site.xml中指定要使用的插件，插件的选取可以使用正则匹配去选取的，插件的nutch的根目录下的apa 阅读全文

摘要： 安装VMware Tools 灰色解决办法 1.问题描述 使用VMware时，安装VMware Tools或者重新安装VMware Tools的按钮是灰色的 2.网上比较常用的解决办法 网上挺多博客有写这些如何解决该问题的，但是很多时候不一定能行得通，根据那些博客进行配置（如：配置CD/DVD（SA 阅读全文

摘要： java.lang.NoClassDefFoundError: com/fasterxml/jackson/annotation/JsonView 问题解析 缺失jackson的注解包 解决方案 需要导入jackson的相关jar包，这里导入jackson-databind，里面包含了jackson 阅读全文

摘要： SecurityContextPersistenceFilter和SecurityContextHolder的作用 SecurityContextHolder SecurityContextHolder是Spring Security 中最基本的组件，SecurityContextHolder是一个 阅读全文