随笔分类 -  云计算与大数据处理

摘要：一、storm计算框架 ：性能优化的第一步就是找到瓶颈在哪里，从瓶颈处入手，解决关键点问题，事半功倍。 除了通过系统命令查看CPU使用，jstack查看堆栈的调用情况以外，还可以通过Storm自身提供的信息来对性能做出相应的判断。 在Storm 的UI中，对运行的topology提供了相应的统计信息 阅读全文

摘要：Hbase hbase shell:进入 exit：退出 存储单元：表，行键，列簇：限定语，时间戳 列簇中成员。 数据都为字符流 增删改查 general:status,version 表是属性DDL DDL:create,drop,disable,disable_all,enable,enable 阅读全文

摘要：MR框架原理 分片，map，分区，排序，分组，归约，合并，合并，排序，归约，合并，reduce 一、关于Reducer与输出文件 MR中Reducer默认值为一，当job.setNumReduceTasks(2)时，在Eclipse中运行只有一个输出文件。 将代码导出成JAR包(代码中要添加job. 阅读全文