江湖小小白

2019年10月1日

摘要： Apache Ambari Apache BigTop Manager Apache BigTop https://ambari.apache.org & https://github.com/apache/ambari https://bigtop.apache.org & https://git 阅读全文

posted @ 2019-10-01 17:27 江湖小小白阅读(908) 评论(0) 推荐(0)

Java ZipUtil

摘要： Zip 压缩工具类，不支持压缩空文件夹。简单版 import java.io.FileOutputStream; import java.io.IOException; import java.nio.file.*; import java.nio.file.attribute.BasicFile 阅读全文

posted @ 2019-10-01 14:37 江湖小小白阅读(1305) 评论(2) 推荐(0)

Flume 自定义 Sink

摘要： Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或阅读全文

posted @ 2019-10-01 00:35 江湖小小白阅读(3685) 评论(0) 推荐(0)

2019年9月29日

CDH 更换 HDFS 数据目录

摘要：先停止 HDFS 角色。数据文件位置默认在 /dfs/ 中，这里配置 NameNode、SecondaryNameNode、DataNode 数据目录。先在所有 HDFS 的主机上把数据拷贝过去，然后再修改 CDH 上的配置。 mkdir /cdh/dfs cp -af /dfs/* /cdh/ 阅读全文

posted @ 2019-09-29 21:30 江湖小小白阅读(2704) 评论(0) 推荐(1)

Flume 自定义 Source 读取 MySQL 数据

摘要：开源实现：https://github.com/keedio/flume-ng-sql-source 这里记录的是自己手动实现。测试中要读取的表 CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varcha 阅读全文

posted @ 2019-09-29 19:10 江湖小小白阅读(3125) 评论(2) 推荐(1)

2019年9月28日

Flume 自定义 Source

摘要： Source 是负责接收数据到 Flume Agent 的组件。 Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。阅读全文

posted @ 2019-09-28 22:53 江湖小小白阅读(3106) 评论(0) 推荐(0)

2019年9月27日

Flume 自定义 Interceptor（拦截器）

摘要：使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理阅读全文

posted @ 2019-09-27 19:23 江湖小小白阅读(11382) 评论(2) 推荐(0)

2019年9月26日

Flume 日志聚合

摘要： Flume-1 监控文件 /tmp/tomcat.log。 Flume-2 监控某一个端口的数据流。 Flume-1 与 Flume-2 将数据发送给 Flume-3，Flume-3 将最终数据打印到控制台。一、创建配置文件 1.flume1-logger-flume.conf 配置 Source 阅读全文

posted @ 2019-09-26 23:24 江湖小小白阅读(726) 评论(0) 推荐(0)

MySQL Optimization

摘要：一、Slow Query -- 查看当前配置 SHOW VARIABLES LIKE 'slow_query_log'; -- 查看慢查询日志状态，默认关闭 SHOW VARIABLES LIKE 'long_query_time'; -- 查看当前慢查询阈值，默认 10，不含 10 SHOW VA 阅读全文

posted @ 2019-09-26 14:13 江湖小小白阅读(378) 评论(0) 推荐(0)

2019年9月25日

Flume Failover Sink Processor 故障转移与 Load balancing Sink 负载均衡

摘要：接上一篇：https://www.cnblogs.com/jhxxb/p/11579518.html 使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用 Failover Sink Processor，实现故障转移的功能。一、创建配置文阅读全文

posted @ 2019-09-25 22:50 江湖小小白阅读(861) 评论(0) 推荐(0)

Flume Replicating Channel Selector 单数据源多出口

摘要：使用 Flume-1 监控文件变动，Flume-1 使用 Replicating Channel Selector 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSyst 阅读全文

posted @ 2019-09-25 17:06 江湖小小白阅读(678) 评论(0) 推荐(0)

2019年9月24日

Flume 几种拓扑结构

摘要：一、串联 Flume Agent 连接这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。阅读全文

posted @ 2019-09-24 23:43 江湖小小白阅读(1141) 评论(0) 推荐(0)

Flume 事务与传输流程

摘要：一、Flume 事务流程图 Put 事务流程 doPut：将批数据先写入临时缓冲区 putList doCommit：检查 channel 内存队列是否足够合并 doRollback：channel 内存队列空间不足，回滚数据 Take 事务流程 doTake：将数据取到临时缓冲区 takeLis 阅读全文

posted @ 2019-09-24 19:12 江湖小小白阅读(1447) 评论(0) 推荐(1)

2019年9月23日

Java-JPDA 概述

摘要： JPDA：Java 平台调试架构（Java Platform Debugger Architecture）它是 Java 虚拟机为调试和监控虚拟机专门提供的一套接口。一、JPDA https://docs.oracle.com/javase/8/docs/technotes/guides/jpd 阅读全文

posted @ 2019-09-23 22:36 江湖小小白阅读(4966) 评论(0) 推荐(0)

2019年9月22日

Flume Taildir Source 监控目录下多个文件的追加

摘要： Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；而 Taildir Source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控。一、创建配置文件 flume 阅读全文

posted @ 2019-09-22 19:31 江湖小小白阅读(4323) 评论(0) 推荐(0)

公告