随笔分类 - Solr/Lucene/Nutch
摘要:问题研究项目中需要利用DataImportHandler从hive中sync数据到solr。发现有时候hive sql已经执行完几个小时了,sync任务还没有完成,貌似哪里卡住了。重启solr后重新sync又成功了,所以之前虽然遇到很多次这个问题也没有去深究。今天又出现了同样的问题,决定花点时间研究下到底是什么原因造成的。利用jstack dump了几遍线程栈,发现很多个线程都卡在同一个地方,at java.net.SocketInputStream.socketRead0(Native Method),显然这些进程都在等待jdbc从hive中读取数据。初步判断可能是网络原因导致网络中断,Tc
阅读全文
摘要:安装tutorial的步骤安装Nutch,当执行下面这条命令时出现异常bin/nutch crawl urls -dir crawl -depth 3 -topN 5Injector: starting at 2013-11-07 15:25:54Injector: crawlDb: crawl/crawldbInjector: urlDir: urlsInjector: Converting injected urls to crawl db entries.Exception in thread "main" java.io.IOException: Failed to
阅读全文

浙公网安备 33010602011771号