摘要: spark streaming中维护kafka偏移量到外部介质 以kafka偏移量维护到redis为例。 redis存储格式 使用的数据结构为 ,其中key为 ,value为 。 例如 这个 下有3个分区,则key value结构如下: 的偏移量为x 的偏移量为y 的偏移量为z 消费时指定offse 阅读全文
posted @ 2019-04-03 19:48 bener 阅读(1600) 评论(0) 推荐(0) 编辑
摘要: spring cloud gateway负载普通web项目 对于普通的web项目,也是可以通过 进行负载的,只是无法通过服务发现。 背景 不知道各位道友有没有使用过 "帆软" ,帆软是国内一款报表工具,这里不做过多介绍。 它是通过war包部署到 ,默认是单台服务。如果想做集群,需要配置 ,帆软会将当 阅读全文
posted @ 2019-04-01 20:45 bener 阅读(7338) 评论(0) 推荐(0) 编辑
摘要: JdbcTemplate实体映射 如果你需要使用JdbcTemplate将查询的数据映射成Java POJO,那么这篇文章适合你。 一个例子入门 下面是一个将表中一行记录映射成Map的例子,也是JdbcTemplate默认提供的功能。 然而,我们更希望得到的是下面这样的。 其中User中的属性与字段 阅读全文
posted @ 2019-03-28 19:17 bener 阅读(7520) 评论(0) 推荐(0) 编辑
摘要: Sqoop葵花宝典 基于Sqoop1.x 场景 导入流程 导出流程 字段说明 | 字段 | MySQL类型 | Hive类型 | | | | | | id | int | int | | name | varchar(100) | string | | desc | varchar(255) | s 阅读全文
posted @ 2019-03-27 16:24 bener 阅读(456) 评论(0) 推荐(0) 编辑
摘要: kettle web化 通过Java API调用kettle核心代码,并基于Spring Boot提供简易的Web管理界面。 背景 在工作中,通过kettle这款ETL产品进行数据处理时,是通过kitchen命令调用kettle,会启动一个jvm程序处理。在运行时,如果几个任务同时跑,那么会占用比较 阅读全文
posted @ 2019-03-25 20:07 bener 阅读(16916) 评论(2) 推荐(0) 编辑
摘要: Summer Project "Summer" 是一个用于 学习交流 ,基于 "Netty4.x" 的简单mvc库。 使用 快速开始 自定义 关于 Request 命名参数 显然, 就是一个命名参数,可以通过 方法获取命名参数。 注意: name 必须为字母[a zA Z], 否则视为精确匹配! 前 阅读全文
posted @ 2018-06-12 19:28 bener 阅读(219) 评论(0) 推荐(0) 编辑