随笔分类 -  大数据

摘要:今天同事被一个需求搞的很难受,场景是甲方有内网、外网、中转机三台服务器,其中内网和外网的mysql数据库需要互相同步,中转机是windows系统,同事不想太麻烦(数据量也不是很大)。最好是简单搭建即可进行同步内外数据库中的数据。canal的方案太复杂涉及到的组件太多,flink对于windows的支 阅读全文
posted @ 2024-12-02 21:48 coderliu_cn 阅读(552) 评论(1) 推荐(1)
摘要:Hadoop集群配置 增加环境变量 export PATH=$PATH:/root/hadoop/bin:/root/hadoop/sbin 修改workers配置 vim ${HADOOP_HOME}/etc/hadoop/workers #增加你的workers节点的名称 hadoop2 had 阅读全文
posted @ 2024-11-29 10:51 coderliu_cn 阅读(23) 评论(0) 推荐(0)
摘要:生成ssh秘钥(免密登陆) cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示,都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权 # 公钥私钥放入三个服务器的/roo 阅读全文
posted @ 2024-11-25 17:34 coderliu_cn 阅读(56) 评论(0) 推荐(0)