2023年10月7日
linux 部署程序句柄数问题
摘要： flink 程序 too many open files 错误 信息文件打开数据过多 ulimit -a 查看文件打开句柄数未 1024 临时修改 ulimit -u 65535 永久修改 vi /etc/security/limits.conf * soft nproc 65535 * hard 阅读全文
posted @ 2023-10-07 14:52 Choice7 阅读(30) 评论(0) 推荐(0) 编辑
flink序列化类型验证
摘要： flink支持的序列化类型 官方支持 java tuples and scala caseclasses java pojos primitive types regular classes values hadoop writables speclal Types 验证代码 StreamExecu 阅读全文
posted @ 2023-10-07 14:49 Choice7 阅读(283) 评论(0) 推荐(0) 编辑
flink 与 es 的一些问题
摘要： 写入es maping字段类型冲突 error1: org.apache.flink.streaming.connectors.elasticsearch.util.NoOpFailureHandler.onFailure(NoOpFailureHandler.java:40) - Failed E 阅读全文
posted @ 2023-10-07 14:48 Choice7 阅读(160) 评论(0) 推荐(0) 编辑
2022年11月3日
flink cdc - mysql binlog配置
摘要： bing log 简介 binlog是二进制日志，并且是事务安全性 binlog记录了所有的DDL和DML（除了数据查问语句）语句 应用场景 监听配置流，广播配置 捕获mysql变更的数据流 mysql binlog配置 在MySQL的配置文件(Linux: /etc/my.cnf , Window 阅读全文
posted @ 2022-11-03 14:24 Choice7 阅读(768) 评论(0) 推荐(0) 编辑
2021年11月15日
hiveSql 执行计划
摘要： 大致流程： 1、客户端连接hiveserver2（目前大叔多通过beeline连接，hive cli模式相对较重，且直接略过元数据）建立回话 2、提交sql，通过driver进行编译，解析，优化逻辑计划，生成物理计划 3、对物理计划执行优化，并提交到计算引擎 4、返回结果 详细流程 1、 客户端提交 阅读全文
posted @ 2021-11-15 08:17 Choice7 阅读(130) 评论(0) 推荐(0) 编辑
2021年9月24日
spark编程基础1
摘要： spark 编程基础1 scala命令行 load ./*.scala 控制台的输入输出语句 scala.io.Stdln 文件读写操作 java.io.PrintWriter val output = new PrintWriter("路径文件") output.println("数据文件的内容" 阅读全文
posted @ 2021-09-24 11:14 Choice7 阅读(46) 评论(0) 推荐(0) 编辑
2021年1月29日
git基本命令
摘要： 1.其它git init：初始化本地库git status：查看工作区、暂存区的状态git add <file name>：将工作区的“新建/修改”添加到暂存区git rm --cached <file name>：移除暂存区的修改git commit <file name>：将暂存区的内容提交到本 阅读全文
posted @ 2021-01-29 14:21 Choice7 阅读(54) 评论(0) 推荐(0) 编辑
2021年1月22日
自定义bean对象实现序列化接口（Writable）
摘要： 具体实现bean对象序列化步骤如下7步。 （1）必须实现Writable接口 （2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造 public FlowBean() { super(); } （3）重写序列化方法 @Override public void write(DataOutpu 阅读全文
posted @ 2021-01-22 18:24 Choice7 阅读(192) 评论(0) 推荐(0) 编辑
2021年1月21日
HDFS 2.X新特性
摘要： 1.1 集群间数据拷贝 1．scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/jenkin/hello.txt // 推 push scp -r root@hadoop103:/user/jenkin/hello.txt hello.t 阅读全文
posted @ 2021-01-21 16:50 Choice7 阅读(37) 评论(0) 推荐(0) 编辑
2021年1月15日
win10-idea连接hdfs集群
摘要： 1、 创建maven项目 2、 打开项目目录下的pom.xml文件，添加如下依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version 阅读全文
posted @ 2021-01-15 10:58 Choice7 阅读(240) 评论(0) 推荐(0) 编辑
下一页