雨渐渐 - 博客园

Hbase region 某个regionserver挂掉后的处理

摘要： ALTER TABLESPACE TB_USER_4K EXTEND(FILE '/data/vd5/TB_USER_4K.tbs' 10240)tail -f /var/cloud/logs/hbase/hbase-？？？-regionserver-d164.logtail -f /var/clo... 阅读全文

posted @ 2014-11-27 19:47 雨渐渐阅读(3627) 评论(0) 推荐(0)

gentoo

摘要： http://www.aboutyun.com/thread-8522-1-1.html .java.io.IOException: Connection reset by peercat /proc/mdstatmdadm --assemble /dev/md4 /dev/sd(abcd)4htt... 阅读全文

posted @ 2014-11-21 13:56 雨渐渐阅读(379) 评论(0) 推荐(0)

Hbase 常用shell命令

摘要：进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> w... 阅读全文

posted @ 2014-11-18 12:27 雨渐渐阅读(4466) 评论(0) 推荐(1)

网络爬虫速成指南（二）网页解析(基于算法)

摘要：此类算法用来抽取文章的正文。这里介绍两种方式：将html加载未dom树，计算文字连接比将html作为文本，计算出行块分布性能比较：1000个网页：行块分布函数：29秒 dom数文字连接比：66秒分析：加载为dom树会很费时间。阅读全文

posted @ 2014-11-04 12:01 雨渐渐阅读(327) 评论(0) 推荐(0)

hbase 0.96 java 示例

摘要： import java.util.ArrayList;import java.util.List; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.ha... 阅读全文

posted @ 2014-09-22 17:40 雨渐渐阅读(386) 评论(0) 推荐(0)

Hbase 0.96 比 hbase 0.94的改变

摘要：转载：http://blog.csdn.net/hxpjava1/article/details/20043703环境：hadoop:hadoop-2.2.0hbase:hbase-0.96.01.org.apache.hadoop.hbase.client.Put 取消了无参的构造方法 Put... 阅读全文

posted @ 2014-09-19 18:11 雨渐渐阅读(528) 评论(0) 推荐(0)

朴素贝叶斯文本分类java实现

摘要： package com.data.ml.classify;import java.io.File;import java.util.ArrayList;import java.util.Collections;import java.util.HashMap;import java.util.Has... 阅读全文

posted @ 2014-09-16 15:32 雨渐渐阅读(4088) 评论(2) 推荐(0)

failed with: java.lang.NullPointerException

摘要： failed with: java.lang.NullPointerException需要在nutch的配置文件 'conf/nutch-site.xml'. 里设置如下，不然就报上面的错误了。当然在crawl-urlfilter.txt里面也要相应于 urls/url.txt里的域名进行设置。ht... 阅读全文

posted @ 2014-09-15 10:38 雨渐渐阅读(547) 评论(0) 推荐(0)

java.io.IOException: Cannot run program "bash": error=12, Cannot allocate memory

摘要： java.io.IOException: Cannot run program "bash": error=12, Cannot allocate memory云服务器运行nutch报出的异常：解决方案：http://daimajishu.iteye.com/blog/959213最近在单机上测试H... 阅读全文

posted @ 2014-09-15 10:23 雨渐渐阅读(1136) 评论(0) 推荐(0)

NUTCH Exception in thread "Thread-12751" java.lang.OutOfMemoryError: PermGen space

摘要：转载自：http://greemranqq.iteye.com/blog/1705867转载自：http://www.cnblogs.com/xwdreamer/archive/2011/11/21/2296930.html修改bin/nutch 脚本加入#!/bin/bash# # The Nu... 阅读全文

posted @ 2014-09-12 09:38 雨渐渐阅读(248) 评论(0) 推荐(0)