2020年4月3日
web source http监听
摘要： 1.netcat 与http都是通过网路端口监听但是它们的协议内容不同 2. a1.sources = r1 a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = httpa1.sources 阅读全文
posted @ 2020-04-03 10:23 张图南 阅读(275) 评论(0) 推荐(0)
2020年4月2日
spark笔记最新整理
摘要： 阅读全文
posted @ 2020-04-02 19:39 张图南 阅读(106) 评论(0) 推荐(0)
在idea上运行spark的wordcount
摘要： 1.环境hadoop-2.6.0 spak2.1.1 scala-sdk-2.11.12 2.maven项目创建 3.pom <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0 阅读全文
posted @ 2020-04-02 19:07 张图南 阅读(910) 评论(0) 推荐(0)
实时收集日志文件
摘要： 1.在home下创建一个test文件 2.vim example.conf （在flume下的conf文件内）a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type 阅读全文
posted @ 2020-04-02 11:46 张图南 阅读(384) 评论(0) 推荐(0)
2020年3月27日
flume中：memory channel，file channel，jdbc channel，Psuedo Transaction Channel的区别 （小宋 子 小李子 小辉子）
摘要： 当设计Flume数据流程图时，决定使用什么类型的channel将是至关重要的。在写这篇文章是，当前有几个channel可供选择，分别是Memory Channel, JDBC Channel , File Channel，Psuedo Transaction Channel。比较常见的是前三种cha 阅读全文
posted @ 2020-03-27 11:05 张图南 阅读(672) 评论(0) 推荐(0)
flume 的demo1
摘要： 环境 Centos7+jdk1.8+flume1.9+telnet客户端 1、先在flume的conf目录下新建一个文件 vi netcat-logger.conf # 定义这个agent中各组件的名字（对应后面命令的a1） a1.sources = r1 a1.sinks = k1 a1.chan 阅读全文
posted @ 2020-03-27 10:40 张图南 阅读(226) 评论(0) 推荐(0)
flume基础知识
摘要： 一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核 阅读全文
posted @ 2020-03-27 10:28 张图南 阅读(283) 评论(0) 推荐(0)