RICH-ATONE

Linux中的grep -R命令详解

摘要： R的意思是递归的对目录下的所有文件（包括子目录）进行 grep。比如 grep -R main src就会搜索src目录下所有文件中是否包含 main 这个字符串。因此grep -R "main" *.c 中的 -R 是没有意义的，因为你输入参数是 *.c 而不是目录名字。参考： https: 阅读全文

posted @ 2021-03-25 18:15 RICH-ATONE 阅读(2191) 评论(0) 推荐(0)

Hadoop集群Unhealthy Nodes导致计算能力下降解决方法（nodemanager处于Unhealthy Nodes）

摘要：访问8088端口或者使用hdfs命令 yarn node -list -all 查看 nodemanger处于Unhealthy Nodes状态查看Hadoop中的yarn日志如下 df -h查看磁盘剩余量，发现不到10% 把磁盘降到90%以下，问题解决参考： https://blog.csdn 阅读全文

posted @ 2021-03-11 18:51 RICH-ATONE 阅读(403) 评论(0) 推荐(0)

Java匿名内部类详解

摘要：一、在使用匿名内部类的过程中，我们需要注意如下几点： 1、使用匿名内部类时，我们必须是继承一个类或者实现一个接口，但是两者不可兼得，同时也只能继承一个类或者实现一个接口。 2、匿名内部类中是不能定义构造函数的。 3、匿名内部类中不能存在任何的静态成员变量和静态方法。 4、匿名内部类为局部内部类（即方阅读全文

posted @ 2021-03-05 18:54 RICH-ATONE 阅读(969) 评论(0) 推荐(0)

Error:java: Compilation failed: internal java compiler error 解决办法

摘要：导致这个错误的原因主要是因为jdk版本问题，此处有两个原因，一个是编译版本不匹配，一个是当前项目jdk版本不支持。（主要分为：项目JDK版本、工程JDK版本、编译JDK版本）参考： https://blog.csdn.net/wo541075754/article/details/82119860 阅读全文

posted @ 2021-03-05 15:45 RICH-ATONE 阅读(149) 评论(0) 推荐(0)

java基础知识体系

摘要：参考：java基础知识体系阅读全文

posted @ 2021-03-03 14:34 RICH-ATONE 阅读(116) 评论(0) 推荐(0)

使用flink SQL对接kafka 时，日志不报错，也没有数据输出，原因有哪几个方面

摘要：本地调试么？确认一下下面的问题一般先调试sink表的 connector换print 打印一下： 1. 是earliest还是latest 2. auto.commit 是true还是false 3. source改成 socket输入试试逻辑有没问题示例代码参考： CREATE TABLE t 阅读全文

posted @ 2021-03-02 10:24 RICH-ATONE 阅读(2588) 评论(0) 推荐(0)

Git详解参考

摘要：参考：工具详解 - Git 详解 Git常用操作命令 - 代码提交和同步代码：第零步: 工作区与仓库保持一致第一步: 文件增删改，变为已修改状态第二步: git add ，变为已暂存状态 $ git status $ git add --all # 当前项目下的所有更改 $ git add . 阅读全文

posted @ 2021-03-01 17:32 RICH-ATONE 阅读(141) 评论(0) 推荐(0)

Flume监控文件实现断点续传

摘要： 1、目录配置，实现不了断点续传功能 2、针对采集原始文件实现断点续传（taildir source才有这个断点续传的功能），可以采用多文件进行配置，也可以采用文件通配符进行配置要采集的文件（比如：*.log）参考： al.sources = r1 a1.channels = c1 a1.sinks 阅读全文

posted @ 2021-02-25 22:43 RICH-ATONE 阅读(535) 评论(0) 推荐(0)

Flume常见拓扑结构

摘要：一.串行模式 Flume Agent之间相互连接这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个阅读全文

posted @ 2021-02-25 22:35 RICH-ATONE 阅读(227) 评论(0) 推荐(0)

Flume的事务性与数据安全性

摘要：在flume中事务是一个重要的概念，事务保证了数据的可靠性。这里的事务性和数据库中的事务性有些区别，flume中的事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。(比如上传文件的过程中HDFS宕机，则会造成HDFS数据重复) Flume的事务性，主阅读全文

posted @ 2021-02-25 22:33 RICH-ATONE 阅读(346) 评论(0) 推荐(1)