02 2021 档案

2月28
摘要：dao >操作数据 service >写业务逻辑 controller >控制层 java 应用程序 >SSM(reservedMB) availableMB http get response body: numCONTRINS: 正在使用的容器数 userLimit: 设置的用户数限制 yarn 阅读全文
posted @ 2021-02-28 19:59 Simon92 阅读(68) 评论(0) 推荐(0)
日常笔记
摘要：[root@cbp1 ~]# su - hdfs [hdfs@cbp1 ~]$ hdfs dfsadmin -fetchImage ./ 21/02/27 09:23:31 INFO namenode.TransferFsImage: Opening connection to http://cbp 阅读全文
posted @ 2021-02-27 09:49 Simon92 阅读(112) 评论(0) 推荐(0)
postgresql Centos7部署
摘要：1、创建postgres用户组 yum -y install libicu libxslt-devel useradd postgres echo 'postgres'|passwd --stdin postgres //设置密码为postgres 2、rpm安装 rpm -ivh postgres 阅读全文
posted @ 2021-02-26 14:20 Simon92 阅读(231) 评论(0) 推荐(0)
2月25
摘要：2月25 阅读全文
posted @ 2021-02-25 14:08 Simon92 阅读(62) 评论(0) 推荐(0)
2月23号
摘要：2月23号 阅读全文
posted @ 2021-02-23 17:38 Simon92 阅读(44) 评论(0) 推荐(0)
YARN日常维护中常用的命令总结如下
摘要：对YARN日常维护中常用的命令总结如下： 1、YARN用户命令 运行yarn程序(yarn jar) 对yarn程序查询状态、杀死、移动队列等(yarn application) 查看yarn程序的container日志(yarn logs) 其他(如yarn applicationattempt, 阅读全文
posted @ 2021-02-22 22:19 Simon92 阅读(1019) 评论(0) 推荐(0)
mq集群
摘要：RabbitMQ 高可用集群搭建 1 集群简介 1.1 集群架构 ​ 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时，此时可以通过 RabbitMQ 集群来进行扩展，从而达到提升吞吐量的目的。RabbitMQ 集群是一个或多个节点的逻辑分组，集群中的每个节点都是对等的，每个节点共享所有的 阅读全文
posted @ 2021-02-22 14:10 Simon92 阅读(587) 评论(0) 推荐(0)
一天2小时
摘要：一天2小时 阅读全文
posted @ 2021-02-21 22:36 Simon92 阅读(35) 评论(0) 推荐(0)
CDH Disk Balancer 磁盘数据均衡
摘要：前提：CDH5.16.2 由于数据量过多，磁盘大小太小，导致磁盘使用率高达90%以上，于是新增磁盘，可问题来了，如何将这两块磁盘上的数据进行均衡呢？本次基于CDH来做 1.设置dfs.disk.balancer.enabled 为true 2.生成平衡计划（cbp9.chinaoly.com为主机名 阅读全文
posted @ 2021-02-20 12:54 Simon92 阅读(1306) 评论(0) 推荐(0)
HDFS某个节点的磁盘满了
摘要：前言 昨天还是周末，公司群里就有人@，说集群有问题了，敲完Hive一直卡在那里进不去，于是我很快登上WebUi，看到了这么一幕：这台节点的磁盘满了，其他的数据分布都比较平均 为什么会这样 这里就不得不说一下HDFS复本存放策略了： namenode如何选择在哪个datanode存储复本（replic 阅读全文
posted @ 2021-02-19 17:11 Simon92 阅读(1413) 评论(0) 推荐(0)
查看YARN上的HIVE 任务的完整SQL语句
摘要：问题 hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 解决办法 通过以下方法可以查看： 1）如果任务 阅读全文
posted @ 2021-02-08 09:30 Simon92 阅读(1334) 评论(0) 推荐(0)
Flink与kafka集成开发
摘要：8.Flink与Kafka集成开发 8.1.核心代码 KafkaFlinkMySQL package com.djt.flink.news; import java.util.Properties; import org.apache.flink.api.common.functions.FlatM 阅读全文
posted @ 2021-02-07 21:52 Simon92 阅读(322) 评论(0) 推荐(0)
Flink流式计算
摘要：1、spark：DStream Flink：DataStream 2、Flink Time 处理乱序 watemark（水位线机制） 3、个别数据 4、状态容错(面试项目重点) 5、Flink+Kafka项目应用 数据源 》数据采集 》kafka 》流计算(spark/Flink) 》数据输出 获取 阅读全文
posted @ 2021-02-07 21:17 Simon92 阅读(386) 评论(0) 推荐(0)
2月5号日更
摘要：2月5号日更 阅读全文
posted @ 2021-02-05 09:47 Simon92 阅读(58) 评论(0) 推荐(0)
2月3号日更
摘要：2月3号日更 阅读全文
posted @ 2021-02-03 13:16 Simon92 阅读(45) 评论(0) 推荐(0)