2019年12月5日

airflow迁移

摘要： airflow迁移:airflow.cfg文件可以copydbinit时改数据参数 #airflow震乾源码copy:/data/venv/lib/python3.6/site-packages/airflow 装impala:把生产库导到新aiflow 阅读全文

posted @ 2019-12-05 17:10 锋锋2019 阅读(459) 评论(0) 推荐(0)

flume部署

摘要： 参考： 笔记 https://www.cnblogs.com/yinzhengjie/p/11183988.html 官网： http://flume.apache.org/documentation.html user guide: https://github.com/apache/flume/ 阅读全文

posted @ 2019-12-05 12:19 锋锋2019 阅读(93) 评论(0) 推荐(0)

canal原理＆部署

摘要： 原理： https://www.jianshu.com/p/87944efe1005 部署： https://www.cnblogs.com/janes/p/9318576.html https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ 阅读全文

posted @ 2019-12-05 11:30 锋锋2019 阅读(335) 评论(0) 推荐(0)

EMR日常操作

摘要： １／　数据root密码修改后emr配置修改： 2/ 添加s3访问 S3:hadoop-aws-2.8.5.jarjar -tfv hadoop-aws-2.8.5.jar |grep S3FileSystem/usr/lib/hadoop-current/share/hadoop/tools/lib 阅读全文

posted @ 2019-12-05 11:05 锋锋2019 阅读(273) 评论(0) 推荐(0)

导航