摘要： NoSQL现在风生水起，hbase的使用也越来越广，但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论，在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法，也希望得到更多hbase同行们的建议，:)在运维hbase时，目前我们最为关注的主要是三大方面的状况： 1. Cluster load； 2. 读写； 3. 磁盘空间。1. Cluster load 集群的load状况直接反映了集群的健康程度，load状况的获取非常容易，直接部署ganglia即可得到，由于hbase以优秀的可伸缩性著称，因此 多数情况下load超出接受范围时加机器是一个不错的解决方法，当然，这还 阅读全文

摘要： 2013年马上就要过去了，总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布，代码结构已经按照模块化release了，而且提供了许多大家迫切需求的特点。这些特点大多在Yahoo/Facebook/淘宝/小米 等公司内部的集群中跑了挺长时间了，可以算是比较稳定可用了。1，Compaction优化HBase的Compaction是长期以来广受诟病的一个feature，很多人吐槽 HBase也是因为这个特征。不过我们不能因为HBase有这样一个缺点就把它一棒子打死，更多的还是希望能够驯服它，能够使得它适应自己的应用场景。根 据业务负载类型调整compact 阅读全文

摘要： 随着大数据处理时代的到来，NoSQL风生水起。京东作为国内最大的综合网络零售商，随着业务数据量爆发式增长，传统的关系数据库在海量数据面前开始显得捉襟见肘，于是京东云平台在Hadoop生态集群经验积累的基础上，引入了HBase作为海量数据存储的基础设施。虽然引入时间不长，但京东数十个业务系统已经使用了HBase，包括实时在线业务、离线批量计算业务、批量导入兼在线访问等业务类型。为了提高资源利用率，多个业务系统可能复用一个HBase集群。而开源的HBase处于发展期，业务之间的存储和访问产生了一些干扰和冲突。于是，为了应用到生产环境尤其是在线业务系统中，京东第一阶段对HBase进行了完善，并根据京 阅读全文

摘要： 为什么regionserver 和Zookeeper的session expired? 可能的原因有1. 网络不好。2. Java full GC， 这会block所有的线程。如果时间比较长，也会导致session expired.怎么办？1. 将Zookeeper的timeout时间加长。2. 配置“hbase.regionserver.restart.on.zk.expire” 为true。 这样子，遇到ZooKeeper session expired ， regionserver将选择 restart 而不是 abort具体的配置是，在hbase-site.xml中加入zookeepe 阅读全文

摘要： 近期对hbase多用户插入数据时，regionserver会莫名奇妙的关闭，regionserver的日志有很多异常：如下：org.apache.hadoop.hbase.DroppedSnapshotException: region: t,12130111020202,1369296305769.f14b9a1d05ae485981f6a8579f1324fb. at org.apache.hadoop.hbase.regionserver.HRegion.internalFlushcache(HRegion.java:1000) at org.apache.hadoop.hb... 阅读全文

摘要： java实现视频转换通用工具类：获取视频元数据信息（一）java实现视频转换通用工具类：视频相互转换-总方法及Mencoder（二）java 实现视频转换通用工具类：视频相互转换-Ffmpeg（三）1.ffmpeg 截图，自定义命令行[java]view plaincopy/***ffmpeg截图，自定义命令行*@paramsrcVideoPath源文件*@paramshellLine自定义shell命令行*@paramtarImagePath目标文件*@return*/publicstaticbooleanprocessFfmpegImage(StringsrcVideoPath,Strin 阅读全文

摘要： java实现视频转换通用工具类：获取视频元数据信息（一）java实现视频转换通用工具类：视频相互转换-总方法及Mencoder（二）这节主要是ffmpeg的相关方法封装，在实际调用中主要使用ffmpeg的方法，Mencoder方法暂时没有用上，同时ffmpeg都是采用的编译好的静态文件。视频转换时没有加额外的参数，如果有需要，可添加扩展就ok。1.判断系统支持那些编码[java]view plaincopy/***判断系统支持那些编码*@paramsrcVideoPath*@return*/publicstaticvoidprocessFfmpegCodeFormat(){Listcommen 阅读全文

摘要： 1.自动判断格式并调用相应的转换工具，默认方法[java]view plaincopy/***自动判断格式并调用相应的转换工具，默认方法*@paramsrcVideoPath*@paramtarVideoPath*@return*/publicstaticbooleanvideoConver(StringsrcVideoPath,StringtarVideoPath){booleanboo=true;if(StringUtils.isNotEmpty(srcVideoPath)&&StringUtils.isNotEmpty(tarVideoPath)){srcVideoPat 阅读全文

摘要： java 做视频转换主要用到开源的ffmpeg或者mencoder，还要有MP4Box。注：由于平时都没有时间写博客，所以思路我就不写了，有问题问我，不一定马上回复。详细介绍：ffmpeg：http://www.ffmpeg.org/mencoder：http://en.wikipedia.org/wiki/MEncoderMP4Box：http://gpac.wp.mines-telecom.fr/mp4box/mp4box-documentation/主要实现：1.获取视频元数据信息2.视频相互转换3.视频加文字及图片水印4.视频截图思路：配置文件中定义各转换工具的路径：（相关工具去官网下 阅读全文

摘要： W3SchoolHomePagehttp://www.w3school.com.cnFreewebbuildingtutorialsRSSTutorialhttp://www.w3school.com.cn/rssNewRSStutorialonW3SchoolXMLTutorialhttp://www.w3school.com.cn/xmlNewXMLtutorialonW3School 阅读全文