• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
金色的鱼儿
博客园 首页 新随笔 联系 订阅 订阅 管理

随笔分类 -  canal

 
大数据场景下数据异构之 Mysql实时写入HBase(借助canal kafka SparkStreaming)
摘要:背景:公司线下ETC机房有个Mycat集群,供订单系统使用,现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型:binlog解析工具:阿里开源的canal 消息中间件:kafka 流式框架:SparkStreaming上代码canal解析mysqlbinlog 阅读全文
posted @ 2021-01-16 14:02 金色的鱼儿 阅读(458) 评论(0) 推荐(0)
使用canal数据同步的踩坑
摘要:https://blog.csdn.net/weixin_44188501/article/details/107392089 阅读全文
posted @ 2021-01-15 20:25 金色的鱼儿 阅读(1539) 评论(0) 推荐(0)
Windows下Mysql5.7开启binlog步骤及注意事项
摘要:1、查看是否开启了binlog:show binary logs; 默认情况下是不开启的。 2、开启binlog:修改mysql的配置文件my.ini。添加如下配置: 该文件默认不允许修改,需要右键“管理员取得所有权”之后才能保存修改。 另外,需要注意的是图中的my.ini位于:C:\Program 阅读全文
posted @ 2021-01-15 14:28 金色的鱼儿 阅读(703) 评论(0) 推荐(0)
超详细的Canal入门,看这篇就够了!
摘要:思维导图 文章已收录Github精选,欢迎Star:https://github.com/yehongzhi/learningSummary 前言 我们都知道一个系统最重要的是数据,数据是保存在数据库里。但是很多时候不单止要保存在数据库中,还要同步保存到Elastic Search、HBase、Re 阅读全文
posted @ 2021-01-15 13:42 金色的鱼儿 阅读(5893) 评论(0) 推荐(1)
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3