2022 年 5月 25 日随笔档案 - CHANG_09

2022年5月25日

摘要： 1）FileChannel和MemoryChannel区别 MemoryChannel传输数据速度更快，但因为数据保存在JVM的堆内存中，Agent进程挂掉会导致数据丢失，适用于对数据质量要求不高的需求。 FileChannel传输速度相对于Memory慢，但数据安全保障高，Agent进程挂掉也可以阅读全文

posted @ 2022-05-25 22:56 CHANG_09 阅读(98) 评论(0) 推荐(0)

Flume内存优化

摘要： 1）问题描述：如果启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2）解决方案步骤：（1）在hadoop102服务器的/o 阅读全文

posted @ 2022-05-25 22:54 CHANG_09 阅读(380) 评论(0) 推荐(0)

UDTF 函数模板

摘要： - /*-- 1653219286244|{"cm":{"ln":"-39.0","sv":"V2.4.3","os":"8.1.3","g":"QK98H42I@gmai"mid":"998","nw":"WIFI","l":"es","vc":"13"," 阅读全文

posted @ 2022-05-25 21:16 CHANG_09 阅读(94) 评论(0) 推荐(0)

Hadoop 常用端口号

摘要： hadoop3.x HDFS NameNode 内部通常端口：8020、9000、9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况的端口：8088 历史服务器：19888 阅读全文

posted @ 2022-05-25 18:42 CHANG_09 阅读(1085) 评论(0) 推荐(0)

linux centos7 修改系统时间定时同步 npt.api.bz 服务器(上海)

摘要：使用 date -s 修改系统的当前时间 # date -s 20:20:30 # date -s 2018-5-5 安装ntp # yum install ntp 同步 ntp.api.bz NTP服务器(上海) 时间，写入bios 防止重启失效。 # ntpdate npt.api.bz# h 阅读全文

posted @ 2022-05-25 18:31 CHANG_09 阅读(289) 评论(0) 推荐(0)

CHANG_09

公告