• 博客园logo
  • 会员
  • 周边
  • 众包
  • 新闻
  • 博问
  • 闪存
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
呢喃的歌声
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

01 2018 档案

 
近期开发storm遇到一些问题的解决点
摘要:storm开发解决问题点1.kafka消费速度跟不上问题 这个问题可以从加大topic partition进行解决,可以在topic正在运行时候运行命令 ./kafka-topics --alter --zookeeper rhel071:2181 --topic heartbeat --parti 阅读全文
posted @ 2018-01-05 00:50 呢喃的歌声 阅读(2113) 评论(0) 推荐(1)
关于大数据平台ETL可行性方案
摘要:今年做过两个公司需求都遇到了实时流入hive的需求,storm入hive有几种可行性方案。 1.storm直接写入hive,storm下面有个stormhive的工具包,可以进行数据写入hive。但是本人研究半天感觉并不是很好用,并且利用工具类也会在开发上灵活性被限制。 2.storm直接写入hdf 阅读全文
posted @ 2018-01-05 00:26 呢喃的歌声 阅读(4100) 评论(0) 推荐(0)
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3