Robots2

摘要： 一、常用命令 1.1 打包 mvn clean package -DskipTests 指定环境 mvn clean install -Dmaven.test.skip=true -Pprod-tx 仅打包指定模块 mvn -U clean package install -Ptest -Dmave 阅读全文

摘要： 一、内核设置 1.1 永久修改 配置文件：/etc/sysctl.conf 修改后加载：sysctl -p 1.2 临时修改，重启后失效 sysctl -w net.ipv4.tcp_mem="379008 505344 758016" 1.3 查看配置是否生效 如：修改net.unix.max_d 阅读全文

摘要： 一、Flink底层通信技术 Akka + Netty Akka：它是基于协程的，基于scala的偏函数 Netty：相比更加基础一点，可以为不同的应用层通信协议（RPC，FTP，HTTP等）提供支持 1.1 Akka 简介，Flink叫 XXXGateWay 组件介绍 （1）ActorSystem 阅读全文

摘要： 一、分组简介 RegionServer Group 通过对 RegionServer 进行分组，不同的 RegionServer 分到不同的组。每个组可以按需挂载不同的表，并且当组内的表发生异常后，Region 不会迁移到其他的组。这样，每个组就相当于一个逻辑上的子集群，通过这种方式达到资源隔离的效 阅读全文

摘要： 一、简介 下载源码：git clone https://github.com/alibaba/canal.git canal.adapter： 作用1：对接上游消息，包括kafka、rocketmq、canal-server 作用2：实现mysql数据的增量同步 作用3：实现mysql数据的全量同步 阅读全文

摘要： 一、内存Job管理模式yarn-per-job 使用介绍：常用的模式 二、内存集中管理模式yarn-session 使用介绍：当作业很少并且都较小，能快速执行完成时，可以使用。否则一般不会使用该模式 第一步：yarn-session.sh(开辟资源) 第二步：flink run（提交任务） 阅读全文

摘要： 一、参数介绍 作业模式：yarn-per-job 基本参数 描述 -ynm(Custom Yarnname) 自定义的Yarn名字 -yqu 指定Yarn队列名 -yn (TaskManager) Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个Ta 阅读全文

摘要： 一、查看文件 1、查看目录下文件 hdfs dfs -ls /user/hadoopDemo 2、查看文件内容 hdfs dfs -cat /user/hadoopDemo/hadoop/output hdfs dfs -text /user/hive/47-0000000001407771492 阅读全文

摘要： 一、修改表结构 1、添加删除分区 添加分区：alter table app.app_tabe1 add if not exists partition(dt = '20210621', hour = '17'); 删除分区：alter table app.app_tab1 drop partitio 阅读全文

摘要： 一、下载安装 sudo apt-get install mysql-server 二、初始化配置 查看密码：sudo more /etc/mysql/debian.cnf 连接：mysql -uroot -h 127.0.0.1 -p 修改初始密码： use mysql; update mysql. 阅读全文