RICH-ATONE

Flume常见问题

摘要：问题一：ERROR [PollableSourceRunner-KafkaSource-r2] (org.apache.flume.source.kafka.KafkaSource.doProcess:314) - KafkaSource EXCEPTION, {}org.apache.kafka. 阅读全文

posted @ 2021-02-25 22:30 RICH-ATONE 阅读(1684) 评论(5) 推荐(0)

Flume对接Kafka Source基础配置

摘要： #组件 #a1为定义的namea1.sources=r1a1.channels=c1a1.sinks=k1 #source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource #定义source类型为Kafka Sourcea 阅读全文

posted @ 2021-02-25 22:29 RICH-ATONE 阅读(2823) 评论(0) 推荐(0)

Flume基础介绍

摘要：官网：https://flume.apache.org 概述 Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式架构，灵活可靠。Flume最主要的作用就是实时读取服务器本地磁盘数据，将数据写到HDFS。Flume针对特殊场景也具备良好的自定义扩展能力，因此，阅读全文

posted @ 2021-02-25 22:27 RICH-ATONE 阅读(326) 评论(0) 推荐(0)

Java中的序列化和反序列化详解

摘要： Java中的序列化和反序列化详解阅读全文

posted @ 2021-02-23 14:22 RICH-ATONE 阅读(104) 评论(0) 推荐(0)

ProcessFunction：Flink最底层API使用案例详解

摘要： ProcessFunction：Flink最底层API使用案例详解阅读全文

posted @ 2021-02-10 14:27 RICH-ATONE 阅读(157) 评论(0) 推荐(0)

Filebeat多Input配置文件参考

摘要： Filebeat基础参考（log到kafka，多配置文件参考） input配置 filebeat.config.inputs 参考官网（https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-configuration-rel 阅读全文

posted @ 2021-02-08 14:46 RICH-ATONE 阅读(1582) 评论(0) 推荐(0)

Sqoop的基本使用

摘要： MySQL导入到Hive或者HDFS #!/bin/bash dt=$1 year=$2 sqoop import \ --connect jdbc:mysql://192.168.4.230:3306/database?tinyInt1isBit=false \ --username 123 \ 阅读全文

posted @ 2021-02-04 18:46 RICH-ATONE 阅读(159) 评论(0) 推荐(0)

JAVA String.valueOf()方法的使用

摘要： JAVA String.valueOf()方法的使用 public class Decryptpid extends UDF { public Integer evaluate(String input) throws Exception { Integer result = 0 ; try { r 阅读全文

posted @ 2021-02-03 19:03 RICH-ATONE 阅读(241) 评论(0) 推荐(0)

查看hdfs目录占用磁盘大小

摘要： 1.查看hdfs各个分目录占用大小 hdfs dfs du -h /home/xx/xx 2.查看整个目录的占用大小 hdfs dfs -du -h -s /home/xx/xx 阅读全文

posted @ 2021-02-01 10:24 RICH-ATONE 阅读(2449) 评论(0) 推荐(0)

linux top命令

摘要： top后输入1 ，可查看cpu的核数及每个CPU的运行状况参考： linux分析工具之top命令详解阅读全文

posted @ 2021-01-29 11:21 RICH-ATONE 阅读(160) 评论(0) 推荐(0)