摘要: 转自:https://www.cnblogs.com/nicekk/p/11561836.html 一、概述 Flink 整个系统主要由两个组件组成,分别为 JobManager 和 TaskManager,Flink 架构也遵循 Master - Slave 架构设计原则,JobManager 为 阅读全文
posted @ 2019-09-29 16:51 leon0 阅读(1033) 评论(0) 推荐(0) 编辑
摘要: 转自: https://www.jianshu.com/p/5b670d524fa5 答案写在最前面:Job的最大并行度除以每个TaskManager分配的任务槽数。 问题 在Flink 1.5 Release Notes中,有这样一段话,直接上截图。 这说明从1.5版本开始,Flink on YA 阅读全文
posted @ 2019-09-29 14:51 leon0 阅读(2210) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/a_drjiaoda/article/details/88203323 Flink on Yarn模式部署始末:Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式 阅读全文
posted @ 2019-09-29 14:06 leon0 阅读(2260) 评论(0) 推荐(0) 编辑
摘要: 原文链接:https://blog.csdn.net/a_drjiaoda/article/details/88037282 前言:Flink的运行一般分为三种模式,即local、Standalone、On Yarn。 在安装Flink之前,需要对安装环境进行检查。本文是建立在Hadoop、Zook 阅读全文
posted @ 2019-09-29 11:13 leon0 阅读(1381) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.jianshu.com/p/3598f23031e6 简介 Flink运行时主要角色有两个:JobManager和TaskManager,无论是standalone集群,flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job,调 阅读全文
posted @ 2019-09-29 11:11 leon0 阅读(1028) 评论(0) 推荐(0) 编辑
摘要: 一、前言 java 中MySQL JDBC 封装了流式查询操作,通过设置几个参数,就可以避免一次返回数据过大导致 OOM。 二、如何使用 2.1 之前查询 2.2 现在流式查询 可知只是prepareStatement时候改变了参数,并且设置了PreparedStatement的fetchsize为 阅读全文
posted @ 2019-08-20 14:58 leon0 阅读(4442) 评论(0) 推荐(2) 编辑
摘要: 需求 (filter): 现在有这么一个需求,统计出现在纽约的行车记录。这里我们需要进行一个过滤的操作,我们需要有个自定义的 UDF ,具体思路是,表里面有经度和维度这两个字段,通过这个可以来开发一个是否在纽约的 UDF。 阅读全文
posted @ 2019-08-20 10:18 leon0 阅读(521) 评论(0) 推荐(0) 编辑
摘要: /** * 获得相等过滤器。相当于SQL的 [字段] = [值] * @param cf 列族名 * @param col 列名 * @param val 值 * @return 过滤器 */ public static Filter eqFilter(String cf, String col, byte[] val) { SingleColumnValueFilter f = new Sing 阅读全文
posted @ 2019-08-20 10:12 leon0 阅读(3085) 评论(0) 推荐(0) 编辑
摘要: 转自: https://www.cnblogs.com/Springmoon-venn/p/10570056.html 先上代码: 直接上报错信息: 报错信息是找不到合适的table factory,查询报错类TableFactoryService.scala 源码214行(报错信息中报错位置) 主 阅读全文
posted @ 2019-08-20 10:04 leon0 阅读(2316) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.aboutyun.com/thread-7119-1-1.html 对于任何系统的数据设计,我们都想提高性能,达到资源最大化利用,那么对于hbase我们产生如下问题:1.hbase rowkey设计如何才能提高性能?2.hbase rowkey如何设计才能散列到不同的节点 阅读全文
posted @ 2019-07-08 10:18 leon0 阅读(2775) 评论(0) 推荐(1) 编辑