• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
呢喃的歌声
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

2016年8月30日

分布式缓存
摘要: 劣势:需要重启集群(不灵活,UDF更新频繁不适用) 优势:可以不用过多分发hive jar文件,节省了IO 流量 小企业不适用,大企业用的比较多 mapreduce 里面用distribution cahe方式(MR开发比较少 用jar更少) 阅读全文
posted @ 2016-08-30 16:11 呢喃的歌声 阅读(144) 评论(0) 推荐(0)
 
Hive的压缩
摘要: 全局压缩(一般不用,容易和sqoop产生冲突) 算法类型 算法默认是defaultCode 或者snappy(推介这两种) 局部压缩的步骤方式 开启压缩模式 使用压缩算法,这里是查看压缩算法写法类似 插入数据会用此压缩方式 存储格式用成RCFile 改变格式和压缩方式后到hadoop fs -tex 阅读全文
posted @ 2016-08-30 15:43 呢喃的歌声 阅读(91) 评论(0) 推荐(0)
 
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3