• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
呢喃的歌声
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

2016年6月22日

HBase性能优化方法总结 (转)
摘要: AutoFlush 通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭,这样可以批量写入数据到HBase,而不是有一条put就执行一次更新,只有当put填满客户端写缓存的时候,才会向HBase服务端发起写请求。默认情况下auto flus 阅读全文
posted @ 2016-06-22 17:42 呢喃的歌声 阅读(6238) 评论(0) 推荐(0)
 
MapReduce:详解Shuffle(copy,sort,merge)过程(转)
摘要: Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRedu 阅读全文
posted @ 2016-06-22 16:59 呢喃的歌声 阅读(700) 评论(0) 推荐(0)
 
架构hive2mysql流程
摘要: 1、分析参数 args = new String[5]; args[0]="d:/3-20.sql"; args[1]="-date"; args[2]="2013-01-01"; args[3]="-date1"; args[4]="2013-11-11"; 讲参数分析后键值对成对放入map中() 阅读全文
posted @ 2016-06-22 16:11 呢喃的歌声 阅读(434) 评论(0) 推荐(0)
 
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3