03 2022 档案

Presto配置调整
摘要：一、常用优化 1、每个查询最大使用内存1T，目前配置 3T query.max-memory=1T 2、每个工作节点最多加载10GB数据，目前 60GB query.max-memory-per-node=60GB 3、每个查询最多运行30分钟，目前没设置 query.max-run-time=30 阅读全文
posted @ 2022-03-29 14:36 Robots2 阅读(385) 评论(0) 推荐(0)
IDEA 快捷键总结
摘要：一、搜索 command+o 项目内搜索文件 command+shift+f 全局关键词搜索 阅读全文
posted @ 2022-03-29 11:04 Robots2 阅读(32) 评论(0) 推荐(0)
Flink中的时间分类
摘要：一、分类 1.1 事件时间：EventTime 事件发⽣的时间 事件时间是每个单独事件在其产⽣进程上发⽣的时间，这个时间通常在处理的消息体中，如创建时间 在事件时间中，时间值 取决于数据产⽣记录的时间，⽽不是任何Flink机器上的 1.2 进⼊时间：IngestionTime 事件到进⼊Flink 阅读全文
posted @ 2022-03-27 22:04 Robots2 阅读(196) 评论(0) 推荐(0)
FLink18--全窗口聚合方式2 ProcessWindowApp
摘要：一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
posted @ 2022-03-27 20:49 Robots2 阅读(105) 评论(0) 推荐(0)
FLink17--全窗口聚合方法1--ApplyWindowApp
摘要：一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
posted @ 2022-03-27 20:47 Robots2 阅读(190) 评论(0) 推荐(0)
FLink17--聚合函数-AggWindowApp
摘要：一、依赖 二、代码 package net.xdclass.class11; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.Aggregate 阅读全文
posted @ 2022-03-27 20:47 Robots2 阅读(81) 评论(0) 推荐(0)
FLink16--计数窗口--CountWindiwApp
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念：窗口来多少条计算一次，存在滚动和滑动两种情况 package net.xdclass.class10; import org.apache.flink.api.common.Ru 阅读全文
posted @ 2022-03-27 17:34 Robots2 阅读(177) 评论(0) 推荐(0)
FLink15--滑动窗口--SlidingWindiwApp
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念：滑动窗口有两个参数，窗口大小20和滑动大小6，6秒滑一次，统计近20秒数据 前言：滚动窗口一个时间传参，滑动窗口两个时间传参 window算子用做有keyBy情况，没有使用key 阅读全文
posted @ 2022-03-27 17:32 Robots2 阅读(255) 评论(0) 推荐(0)
FLink14--核心窗口--TumblingWindiwApp
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、 代码 前言：window用作有keyBy情况，前面没有使用keyBy的话用windowAll，并行度会慢 package net.xdclass.class10; import java. 阅读全文
posted @ 2022-03-27 17:29 Robots2 阅读(86) 评论(0) 推荐(1)
FLink13--KeyByMaxByApp
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 package net.xdclass.class9; import java.util.Date; import org.apache.flink.api.common.Runtim 阅读全文
posted @ 2022-03-27 17:27 Robots2 阅读(107) 评论(0) 推荐(0)
FLink12--KeyByReduceApp
摘要：一、依赖 参考博文：https://www.cnblogs.com/robots2/p/16048648.html 二、代码 package net.xdclass.class9; import java.util.Date; import org.apache.flink.api.common.R 阅读全文
posted @ 2022-03-27 17:26 Robots2 阅读(47) 评论(0) 推荐(0)
Flink11--FliterAndKeyBy算子
摘要：一、导入依赖 参考本人下博客 二、代码 FLink11FilterApp.java package net.xdclass.class9; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink 阅读全文
posted @ 2022-03-27 17:23 Robots2 阅读(54) 评论(0) 推荐(0)
Flink窗口
摘要：一、窗口介绍 1.1 Window：时间窗口 滚动窗口（Tumbling Window）将事件拆分成固定长度，窗口之间不重叠，窗口长度固定 例：每10s统计过去10s订单数据 滑动窗口（Sliding Window）按照滑动步长拆分成固定长度，窗口长度固定。根据指定步长（Slide）向前滑动，步长小 阅读全文
posted @ 2022-03-27 15:56 Robots2 阅读(199) 评论(0) 推荐(0)
FLink09的RichFlatMap和RichMap使用
摘要：一、数据源配置 pom文件：https://www.cnblogs.com/robots2/p/16048648.html 二、RichFlatMap代码，输入单行输出多行 package net.xdclass.class9.app; import org.apache.flink.api.com 阅读全文
posted @ 2022-03-24 12:47 Robots2 阅读(700) 评论(0) 推荐(0)
FLink自定义Kafka Source，处理后转发给下一个kafka topic
摘要：一、依赖配置 pom文件：https://www.cnblogs.com/robots2/p/16048648.html kafka单机版安装：https://www.cnblogs.com/robots2/p/15797379.html 其它信息看我的博客 二、Flink代码 package ne 阅读全文
posted @ 2022-03-24 11:39 Robots2 阅读(443) 评论(0) 推荐(0)
FLink自定义Sink，生产的数据导出到Redis
摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、自定义sink 2.1 自定义sink package net.xdclass.class6.sink; import org.apache.flink.api.java.tuple. 阅读全文
posted @ 2022-03-24 11:32 Robots2 阅读(273) 评论(0) 推荐(0)
FLink自定义Sink，生产的数据导出到mysql
摘要：一、自定义生产数据 https://www.cnblogs.com/robots2/p/16048729.html 二、生产转化数据，导出到mysql 2.1 建表语句 CREATE TABLE `video_order` ( `id` int(11) unsigned NOT NULL AUTO_ 阅读全文
posted @ 2022-03-24 11:05 Robots2 阅读(914) 评论(0) 推荐(0)
FLink自定义Source，不停生产数据
摘要：一、代码模板 VideoOrder.java package net.xdclass.model; import java.util.Date; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsCon 阅读全文
posted @ 2022-03-24 10:59 Robots2 阅读(682) 评论(0) 推荐(0)
Flink基础Source配置
摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、代码demo FlinkBaseSource.java package net.xdclass.class4; import org.apache.flink.api.common.R 阅读全文
posted @ 2022-03-24 10:54 Robots2 阅读(162) 评论(0) 推荐(0)
Flink Maven项目，依赖配置pom.xml
摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文
posted @ 2022-03-24 10:50 Robots2 阅读(2634) 评论(0) 推荐(0)
VsCode 配置python开发环境
摘要：一、配置环境 1、选择python解释器版本 输入：Command+shift+P 搜索：Python: Select Interpreter 2、安装包 指定版本： pip install PyHive==0.6.5 不指定版本：pip install PyHive 3、更新pip3 python 阅读全文
posted @ 2022-03-23 20:26 Robots2 阅读(898) 评论(0) 推荐(0)
Python常用包
摘要：一、Web框架: Tornado，访问：http://www.tornadoweb.org/en/stable/ Flask，访问：http://flask.pocoo.org/ Web.py，访问：http://webpy.org/ django：https://www.djangoproject 阅读全文
posted @ 2022-03-23 20:08 Robots2 阅读(229) 评论(0) 推荐(0)
waterdrop同步mysql数据到hive
摘要：一、shell类型任务，提交到yarn集群 #!bin/bash# 数据源配置，只读账号 jdbc_url="数据库ip:3306"database="数据名"username="账号"password="密码"# 目标hive表配置 target_table="hive库.hive表"target 阅读全文
posted @ 2022-03-23 16:57 Robots2 阅读(597) 评论(0) 推荐(0)
Flink 部署和整体架构
摘要：一、Flink运行部署模式和流程 部署模式： 1、Local 本地部署，直接启动进程，适合调试使用 2、Standalone Cluster集群部署，flink自带集群模式 3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境 运行流程 1 阅读全文
posted @ 2022-03-19 20:16 Robots2 阅读(399) 评论(0) 推荐(0)
Presto常用命令
摘要：一、基本资料 1、官方文档 https://prestodb.github.io/docs/current/sql/select.html 二、常用命令 1、kill任务，登录presto客户端 CALL system.runtime.kill_query(query_id => '20220317 阅读全文
posted @ 2022-03-17 16:46 Robots2 阅读(531) 评论(0) 推荐(0)
Flink程序异常--CommunicationsException: The last packet successfully received from the server was
摘要：一、异常截图 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 46,912,998 milliseconds ago. 阅读全文
posted @ 2022-03-16 10:20 Robots2 阅读(1061) 评论(0) 推荐(0)
Git常用命令总结
摘要：一、常用拉取提交代码 1、拉取代码 基本拉取：git clone [git地址] 拉取并保存账号：git clone https://账号:密码@gitee.com/robots2/test.git 2、本地修改代码后查看调整 git pull：获取当前分支最新代码 git pull origin 阅读全文
posted @ 2022-03-15 14:26 Robots2 阅读(207) 评论(0) 推荐(0)
Flink批处理-简单案例-01
摘要：一、简单案例 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 阅读全文
posted @ 2022-03-10 09:53 Robots2 阅读(406) 评论(0) 推荐(0)
Flink流处理-简单案例-01
摘要：一、pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文
posted @ 2022-03-10 09:20 Robots2 阅读(181) 评论(0) 推荐(0)