随笔分类 -  flume

CDH配置Flume无法失效的问题
摘要：在使用过cdh6.3.1版本的flume时，配置了从kafka消费写入hdfs，使用的是FileChannel。 使用FileChannel还是考虑到数据可靠性。 但是今天在配置的时候，一直不生效。 由于我在配置FileChannel时，在指定的Agent的服务器上去设置目录。 这里必须将该目录的o 阅读全文
posted @ 2023-01-03 21:56 硅谷工具人 阅读(79) 评论(0) 推荐(0)
Flume自定义拦截器通过可配置字段实现分区
摘要：1. 功能说明 通过自定义拦截器实现使用数据中的时间字段作为分区。 比如如下数据： { "type":"token_transfer", "token_address":"0x4774fed3f2838f504006be53155ca9cbddee9f0c", "from_address":"0xf 阅读全文
posted @ 2022-06-01 12:50 硅谷工具人 阅读(151) 评论(0) 推荐(0)
Flume自定义拦截器
摘要：需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。 发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段 阅读全文
posted @ 2022-05-02 22:42 硅谷工具人 阅读(183) 评论(0) 推荐(0)
flume1.8实现hdfsSink整点滚动文件
摘要：由于官方的1.8版本hdfs-sink不能在每天的0点滚动文件，所以修改了flume-hdfs-sink源码。 flume-hdfs-sink中修改了HDFSEventSink.java文件，其他文件未改动。 使用该程序打包，替换掉官方到flume-hdfs-sink.jar(建议备份一份), 也可 阅读全文
posted @ 2018-11-15 13:14 硅谷工具人 阅读(1124) 评论(0) 推荐(0)
flume中HdfsSink参数说明
摘要：flume到hdfsSink： type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。 filePrefix 默认值：FlumeData 写入hdfs的文件名前缀 阅读全文
posted @ 2018-11-14 09:26 硅谷工具人 阅读(2434) 评论(0) 推荐(0)
flume采集启动报错，权限不够
摘要：权限不够 注意这里的这个/home/hadoop/king/flume/103104/trackerDir/.flumespool main.meta 文件是个隐藏文件， 刚开始没找到，后面使用ll a找到了。 然后修改权限 chmod 777 /home/hadoop/king/flume/103 阅读全文
posted @ 2018-04-18 16:34 硅谷工具人 阅读(1337) 评论(0) 推荐(0)
flume中Source
摘要：Spooling Directory Source: 以下2组参数解释： fileHeader及fileHeaderKey：fileHeader是个布尔值，可配置为true或者false，表示在flume读取数据之后，是否在封装出来的event中将文件名添加到event的header中。fileHe 阅读全文
posted @ 2018-02-11 11:30 硅谷工具人 阅读(2104) 评论(0) 推荐(1)

成功之道，在于每个人生阶段都要有不同的目标，并且通过努力实现自己的目标，毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福，同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知，修身齐家治国平天下。