Robots2

2022年3月24日

FLink自定义Kafka Source，处理后转发给下一个kafka topic

摘要：一、依赖配置 pom文件：https://www.cnblogs.com/robots2/p/16048648.html kafka单机版安装：https://www.cnblogs.com/robots2/p/15797379.html 其它信息看我的博客二、Flink代码 package ne 阅读全文

posted @ 2022-03-24 11:39 Robots2 阅读(435) 评论(0) 推荐(0)

FLink自定义Sink，生产的数据导出到Redis

摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、自定义sink 2.1 自定义sink package net.xdclass.class6.sink; import org.apache.flink.api.java.tuple. 阅读全文

posted @ 2022-03-24 11:32 Robots2 阅读(270) 评论(0) 推荐(0)

FLink自定义Sink，生产的数据导出到mysql

摘要：一、自定义生产数据 https://www.cnblogs.com/robots2/p/16048729.html 二、生产转化数据，导出到mysql 2.1 建表语句 CREATE TABLE `video_order` ( `id` int(11) unsigned NOT NULL AUTO_ 阅读全文

posted @ 2022-03-24 11:05 Robots2 阅读(907) 评论(0) 推荐(0)

FLink自定义Source，不停生产数据

摘要：一、代码模板 VideoOrder.java package net.xdclass.model; import java.util.Date; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsCon 阅读全文

posted @ 2022-03-24 10:59 Robots2 阅读(677) 评论(0) 推荐(0)

Flink基础Source配置

摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、代码demo FlinkBaseSource.java package net.xdclass.class4; import org.apache.flink.api.common.R 阅读全文

posted @ 2022-03-24 10:54 Robots2 阅读(157) 评论(0) 推荐(0)

Flink Maven项目，依赖配置pom.xml

摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2022-03-24 10:50 Robots2 阅读(2623) 评论(0) 推荐(0)

2022年3月23日

VsCode 配置python开发环境

摘要：一、配置环境 1、选择python解释器版本输入：Command+shift+P 搜索：Python: Select Interpreter 2、安装包指定版本： pip install PyHive==0.6.5 不指定版本：pip install PyHive 3、更新pip3 python 阅读全文

posted @ 2022-03-23 20:26 Robots2 阅读(876) 评论(0) 推荐(0)

Python常用包

摘要：一、Web框架: Tornado，访问：http://www.tornadoweb.org/en/stable/ Flask，访问：http://flask.pocoo.org/ Web.py，访问：http://webpy.org/ django：https://www.djangoproject 阅读全文

posted @ 2022-03-23 20:08 Robots2 阅读(216) 评论(0) 推荐(0)

waterdrop同步mysql数据到hive

摘要：一、shell类型任务，提交到yarn集群 #!bin/bash# 数据源配置，只读账号 jdbc_url="数据库ip:3306"database="数据名"username="账号"password="密码"# 目标hive表配置 target_table="hive库.hive表"target 阅读全文

posted @ 2022-03-23 16:57 Robots2 阅读(590) 评论(0) 推荐(0)

2022年3月19日

Flink 部署和整体架构

摘要：一、Flink运行部署模式和流程部署模式： 1、Local 本地部署，直接启动进程，适合调试使用 2、Standalone Cluster集群部署，flink自带集群模式 3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境运行流程 1 阅读全文

posted @ 2022-03-19 20:16 Robots2 阅读(388) 评论(0) 推荐(0)

公告