虚怀若谷

摘要： 报如下异常：*org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException): Datanode denied communication with namenode: DatanodeRegistration(127.0.0.1, storageID=DS-458765047-127.0.1.1-50010-1352144571385, infoPort=50075, ipcPort=50020, storageInfo=lv=-40;cid=c 阅读全文

摘要： 转：http://os.51cto.com/art/201001/176366.htmUbuntu samba服务配置是很不错的文件应用很有学习价值，这里我主要讲解Ubuntu samba服务配置的应用，包括介绍Ubuntu samba启动与关闭等知识方面。一.安装Ubuntu samba包sudo apt-get install sambasudo apt-get install smbclient下载smbmount,sudo apt-get install smbfs二.Ubuntu samba启动与关闭sudo /etc/init.d/samba startsudo /etc/init 阅读全文

摘要： 有一段日子没有写日志了，学习少了，对技术的钻研也慢慢的减少了。爱情，生活，理财，这些也是生命中重要的。。 阅读全文

摘要： hadoop集群之间有时候需要将数据进行迁移，如将一些保存的过期文档放置在一个小集群中进行保存。 使用的是社区提供的功能，distcp。用法非常简单： hadoop distcp hdfs://nn1:8020/foo/barhdfs://nn2:8020/bar/foo 加上参数 -i 表示不用去管failure -m 设置map数 阅读全文

摘要： 你可以开启windows 7的隐藏功能：虚拟WiFi和SoftAP（即虚拟无线AP），就可以让电脑变成无线路由器，实现共享上网。点开始 所有程序 命令提示符右键管理员身份运行命令提示符 运行命令：netsh wlan set hostednetwork mode=allow ssid=wuminPC key=wuminWiFi此命令有三个参数，mode：是否启用虚拟WiFi网卡，改为disallow则为禁用 。 ssid：无线网名称，最好用英文(以wuminPC为例)。 key：无线网密码，八个以上字符(以wuminWiFi为例)。 以上三个参数可以自... 阅读全文

摘要： 将hbase的 export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode" 改为export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSInitiatingOccupancyFraction=70"导致导出器导出数据的速度变慢 阅读全文

摘要： 之前regionserver老挂，今天终于找到原因了。是程序中一个函数不停的构造HTable。导致消耗内存。导致gc full。这篇文章中得到提示：http://www.cnblogs.com/panfeng412/archive/2012/07/11/htable-and-htablepool-apply-notes.htmlHTable使用时的一些注意事项：1.规避HTable对象的创建开销因为客户端创建HTable对象后，需要进行一系列的操作：检查.META.表确认指定名称的HBase表是否存在，表是否有效等等，整个时间开销比较重，可能会耗时几秒钟之长，因此最好在程序启动时一次性创建完成 阅读全文

摘要： link：http://www.51testing.com/?uid-445759-action-viewspace-itemid-812467并行运行hbase删表，建表操作，多个表多个region，导致hbase挂掉。查看日志：从日志中可以看出GC时间过长导致zookeeper连接超时，master退出。（是master退出而不是regionserver退出是因为进行的操作是建表，删表，是由master来进行操作的）。原因：hbase中和GC相关的参数：修改前（默认）：export HBASE_OPTS="$HBASE_OPTS -ea -verbose:gc -Xloggc:$ 阅读全文

摘要： Hbase shell 常用命令（1）link：http://blog.csdn.net/scutshuxue/article/details/6988348下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称',  阅读全文

摘要： hbase regionserver 老挂掉：添加如下：<property><name>hbase.regionserver.restart.on.zk.expire</name><value>true</value><description>Zookeeper session expired will force regionserver exit.Enable this will make the regionserver restart.</description></property>测试中 阅读全文