Choice

摘要： 遇到问题 程序启动后， 短时间内没有数据 2025-09-15 15:09:44,214 INFO org.apache.kafka.clients.Metadata [] - [Consumer clientId=flink-test-2, groupId=flink-test] Resettin 阅读全文

摘要： flink 程序 too many open files 错误 信息文件打开数据过多 ulimit -a 查看文件打开句柄数未 1024 临时修改 ulimit -u 65535 永久修改 vi /etc/security/limits.conf * soft nproc 65535 * hard 阅读全文

摘要： flink支持的序列化类型 官方支持 java tuples and scala caseclasses java pojos primitive types regular classes values hadoop writables speclal Types 验证代码 StreamExecu 阅读全文

摘要： 写入es maping字段类型冲突 error1: org.apache.flink.streaming.connectors.elasticsearch.util.NoOpFailureHandler.onFailure(NoOpFailureHandler.java:40) - Failed E 阅读全文

摘要： bing log 简介 binlog是二进制日志，并且是事务安全性 binlog记录了所有的DDL和DML（除了数据查问语句）语句 应用场景 监听配置流，广播配置 捕获mysql变更的数据流 mysql binlog配置 在MySQL的配置文件(Linux: /etc/my.cnf , Window 阅读全文

摘要： 大致流程： 1、客户端连接hiveserver2（目前大叔多通过beeline连接，hive cli模式相对较重，且直接略过元数据）建立回话 2、提交sql，通过driver进行编译，解析，优化逻辑计划，生成物理计划 3、对物理计划执行优化，并提交到计算引擎 4、返回结果 详细流程 1、 客户端提交 阅读全文

摘要： spark 编程基础1 scala命令行 load ./*.scala 控制台的输入输出语句 scala.io.Stdln 文件读写操作 java.io.PrintWriter val output = new PrintWriter("路径文件") output.println("数据文件的内容" 阅读全文

摘要： 1.其它git init：初始化本地库git status：查看工作区、暂存区的状态git add <file name>：将工作区的“新建/修改”添加到暂存区git rm --cached <file name>：移除暂存区的修改git commit <file name>：将暂存区的内容提交到本 阅读全文

摘要： 具体实现bean对象序列化步骤如下7步。 （1）必须实现Writable接口 （2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造 public FlowBean() { super(); } （3）重写序列化方法 @Override public void write(DataOutpu 阅读全文

摘要： 1.1 集群间数据拷贝 1．scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/jenkin/hello.txt // 推 push scp -r root@hadoop103:/user/jenkin/hello.txt hello.t 阅读全文