大墨垂杨

摘要： 业务系统中有一张表drop不掉了。 可以disable，就是drop不掉。 解决办法： 1、将HDFS上的数据删除或移动 hadoop fs -mv /hbase/<table_name> /tmp 2、使用命令修复meta表 hbase hbck -fixMeta -fixAssignments 阅读全文

摘要： IDEA中的这个“发现重复代码 - Found duplicated code“的这个提示甚是烦躁。 Settings —> Editor —> Inspections —> General —> Duplicated Code 阅读全文

摘要： 代码在GitHub上。 包括如下几种样例代码： https://github.com/quchunhui/tod-train-1.0/tree/master/hadoop/src/main/java/hdfs 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要： 使用Storm本地模式消费RocketMQ数据的时候， 消费一点数据之后，就会出现如下错误： 错误截图： 尝试修改了RocketMQ的Broker内存大小，之后解决了这个问题。 文件路径：/home/hadmin/rocketmq-4.0.0/bin/runbroker.sh <修改前> <修改后> 阅读全文

摘要： 随手尝试了一下StreamID的的用法。留个笔记。 ==数据样例== ==拓扑结构== ==程序源码== <Spout1> <CountBolt1> <CountBolt2> <CountBolt3> <TopBolt> <TestTopology> ==结果日志== 阅读全文

摘要： ==思考问题1== 向集群提交一个拓扑的时候，Storm是如何计算Task数以及Executor数的？ 具体有多少个worker，多少个executor，每个executor负责多少个task？ ==思考问题2：== 构建拓扑的时候，有3个地方会影响并行度，这3个地方之间有什么关系？ ==3个参数的 阅读全文

摘要： 一直想找一个对集中式系统和分布式系统的明确概念定义和优缺点说明，正好看到了一个博客，写的不错，转载一下。 原文转自：http://blog.csdn.net/xbj890710/article/details/13821345 建立网络的主要目的就是参与人员互相协作并共享资源，包含可许多不同计算机的 阅读全文

摘要： hadoop环境部署完，执行hdfs zkfc -formatZK命令时，提示如上图所示错误 错误内容： 经调查结果是由于主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符。 阅读全文