会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。
张永清
人生是一个不断觉悟的过程
博客园
首页
新随笔
联系
管理
订阅
2020年4月2日
Flume数据采集结合etcd作为配置中心在爬虫大数据采集处理中的架构实践。
摘要: Apache Flume是一个分布式的、可靠的、可用的系统,用于有效地收集、 聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储,但是其本身是以本地properties作为配置的,配置无法做到动态监听和更新。 一、Flume和ETCD的结合,使用ETCD作为flume 数据采集的配置中心。
阅读全文
posted @ 2020-04-02 16:30 张永清
阅读(1414)
评论(1)
推荐(0)
编辑
公告
作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。