Robots2

2022年3月24日

摘要：一、自定义生产数据 https://www.cnblogs.com/robots2/p/16048729.html 二、生产转化数据，导出到mysql 2.1 建表语句 CREATE TABLE `video_order` ( `id` int(11) unsigned NOT NULL AUTO_ 阅读全文

posted @ 2022-03-24 11:05 Robots2 阅读(898) 评论(0) 推荐(0)

FLink自定义Source，不停生产数据

摘要：一、代码模板 VideoOrder.java package net.xdclass.model; import java.util.Date; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsCon 阅读全文

posted @ 2022-03-24 10:59 Robots2 阅读(671) 评论(0) 推荐(0)

Flink基础Source配置

摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、代码demo FlinkBaseSource.java package net.xdclass.class4; import org.apache.flink.api.common.R 阅读全文

posted @ 2022-03-24 10:54 Robots2 阅读(155) 评论(0) 推荐(0)

Flink Maven项目，依赖配置pom.xml

摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2022-03-24 10:50 Robots2 阅读(2611) 评论(0) 推荐(0)

2022年3月23日

VsCode 配置python开发环境

摘要：一、配置环境 1、选择python解释器版本输入：Command+shift+P 搜索：Python: Select Interpreter 2、安装包指定版本： pip install PyHive==0.6.5 不指定版本：pip install PyHive 3、更新pip3 python 阅读全文

posted @ 2022-03-23 20:26 Robots2 阅读(869) 评论(0) 推荐(0)

Python常用包

摘要：一、Web框架: Tornado，访问：http://www.tornadoweb.org/en/stable/ Flask，访问：http://flask.pocoo.org/ Web.py，访问：http://webpy.org/ django：https://www.djangoproject 阅读全文

posted @ 2022-03-23 20:08 Robots2 阅读(209) 评论(0) 推荐(0)

waterdrop同步mysql数据到hive

摘要：一、shell类型任务，提交到yarn集群 #!bin/bash# 数据源配置，只读账号 jdbc_url="数据库ip:3306"database="数据名"username="账号"password="密码"# 目标hive表配置 target_table="hive库.hive表"target 阅读全文

posted @ 2022-03-23 16:57 Robots2 阅读(589) 评论(0) 推荐(0)

2022年3月19日

Flink 部署和整体架构

摘要：一、Flink运行部署模式和流程部署模式： 1、Local 本地部署，直接启动进程，适合调试使用 2、Standalone Cluster集群部署，flink自带集群模式 3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境运行流程 1 阅读全文

posted @ 2022-03-19 20:16 Robots2 阅读(384) 评论(0) 推荐(0)

2022年3月17日

Presto常用命令

摘要：一、基本资料 1、官方文档 https://prestodb.github.io/docs/current/sql/select.html 二、常用命令 1、kill任务，登录presto客户端 CALL system.runtime.kill_query(query_id => '20220317 阅读全文

posted @ 2022-03-17 16:46 Robots2 阅读(497) 评论(0) 推荐(0)

2022年3月16日

Flink程序异常--CommunicationsException: The last packet successfully received from the server was

摘要：一、异常截图 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 46,912,998 milliseconds ago. 阅读全文

posted @ 2022-03-16 10:20 Robots2 阅读(1046) 评论(0) 推荐(0)

公告