荣锋亮 - 博客园

easy-batch job listeners

摘要： easy-batch 的listeners给与我们提供了一个系统状态的一个日志监控点，同时基于不同的类型提供了不通的监控 Job listener job 关联的需要实现的方法签名 public interface JobListener { void beforeJobStart(JobP 阅读全文

posted @ 2020-04-19 18:39 荣锋亮阅读(283) 评论(0) 推荐(0)

easy-batch job validators

摘要：验证输入数据是每个批处理应用程序中必不可少的步骤。使用Easy Batch，可以通过注册一个或多个RecordValidator实现来验证记录，如下所示： Job job = new JobBuilder() .validator(new MyFirstRecordValidator()) .pro 阅读全文

posted @ 2020-04-19 08:56 荣锋亮阅读(176) 评论(0) 推荐(0)

easy-batch job processors

摘要： Easy Batch通过RecordProcessor接口定义处理逻辑。在这里，可以实现对每条记录的处理方式。记录被提交到处理管道，其中每条记录从一个处理器传送到下一个处理器。记录类型可以从一个处理器更改为另一个。可以在管道中定义任意数量的处理器： Job job = new JobBuilder 阅读全文

posted @ 2020-04-19 08:53 荣锋亮阅读(188) 评论(0) 推荐(0)

easy-batch job marshallers

摘要： marshallers 可以将payload，转换为目标格式（xml，json，csv。。。）内置的marshallers Record marshalling注意事项默认情况下，DelimitedRecordMarshaller，FixedLengthRecordMarshaller，Open 阅读全文

posted @ 2020-04-19 08:50 荣锋亮阅读(280) 评论(0) 推荐(0)

easy-batch job mappers

摘要： mappers 可以实现输入的record 到领域对象的映射 api 模式 Job job = new JobBuilder() .mapper(new MyRecordMapper()) .build(); 提供的映射自定义类型转换一些recordMapper（DelimitedRecordM 阅读全文

posted @ 2020-04-19 08:45 荣锋亮阅读(348) 评论(0) 推荐(0)

easy-batch job filters

摘要：基于RecordFilter我们可以过滤不需要的record 使用的场景注释内容的过滤日志文件的过滤 api 模式 Job job = new JobBuilder() .filter(new myRecordFilter()) .build(); 提供的filter 来自官方文档参考资料 h 阅读全文

posted @ 2020-04-19 08:35 荣锋亮阅读(187) 评论(0) 推荐(0)

easy-batch job writers

摘要： easy-batch writers 的作用是写入record 到sink 支持的数据sink 参考图来自官方表格注意事项和提示在JdbcRecordWriter处理数据库事务。每批处理后将创建一个事务并提交/回滚。在JpaRecordWriter预计一个Java对象作为输入，而不是一个Re 阅读全文

posted @ 2020-04-19 08:30 荣锋亮阅读(289) 评论(0) 推荐(0)

easy-batch job readers

摘要： easy-batch 提供了一些已经实现好的reader，对于从数据源读取records ，我们只需要注册实现好的RecordReader 接口 (当然可以自己实现) readers 代码参考 Job job = new JobBuilder() .reader(new MyRecordReader 阅读全文

posted @ 2020-04-19 08:24 荣锋亮阅读(319) 评论(0) 推荐(0)

easy-batch job 报告

摘要： JobReport api easy-batch 包含了一个在batch 处理阶段的metrics 以及batch完成之后的报告包含的信息 job启动以及结束的时间 job的状态读取的record 写入的record 过滤的record 错误数自定义metrics 通过JobMetrics的a 阅读全文

posted @ 2020-04-19 07:40 荣锋亮阅读(261) 评论(0) 推荐(0)

easy-batch job 调度

摘要：使用ScheduledExecutorService调度因为job实现了java.util.concurrent.Callable 所以可以基于ScheduledExecutorService进行调度参考代码 Job job = ..; ScheduledExecutorService sche 阅读全文

posted @ 2020-04-18 23:00 荣锋亮阅读(502) 评论(0) 推荐(0)

easy-batch job 监控

摘要： easy-batch 可以通过jmx 监控job 的运行状态（我们可以通过jmxexporter&&jmxtrans增强）允许的jmx 指标 jmx mbean 名称为org.jeasy.batch.jmx.monitor:name=YourJobName 暴露的指标 job启动以及结束的时间 j 阅读全文

posted @ 2020-04-18 22:29 荣锋亮阅读(308) 评论(0) 推荐(0)

easy-batch job 配置

摘要：创建一个batch job 我们可以通过JobBuilder创建job 默认job 的名称为job 参考 Job job = new JobBuilder() .named("myJob") .build(); // Or Job job = JobBuilder.aNewJob() .na 阅读全文

posted @ 2020-04-18 22:13 荣锋亮阅读(361) 评论(0) 推荐(0)

使用bloom 加速sqler + gitbase 的代码统计分析情况

摘要：我们基于gitbase 暴露的mysql 服务，可以方便的查询数据，但是如果需要长时间计算的就不太好了还是我们可以通过bloom通过配置的方式就可以解决，以下是一个实践以及一些问题的解决访问环境准备 docker-compose 文件 version: "3" services: lb: ima 阅读全文

posted @ 2020-04-18 18:22 荣锋亮阅读(475) 评论(0) 推荐(0)

easy-batch 核心概念

摘要： job 领域api 参考图说明通用的处理流程为：通过包含JobParameters 参数的JobBuilder创建job 通过JobExecutor 执行job 通过JobReport获取job运行的状态 record 以及batch api easy-batch 提供了一个通用的record 阅读全文

posted @ 2020-04-18 17:53 荣锋亮阅读(1019) 评论(0) 推荐(0)

easy-batch 学习试用

摘要： easy-rules 是一个简单，但是封装比较完备的java etl 框架，提供了比较完备的数据处理能力是一个可以使用的数据处理框架,以下是一个简单的学习项目说明项目是官方的一个demo，主要是学习下easy-rules 的基本使用,主要是转换一个csv文件为xml 项目准备项目结构 ├── 阅读全文

posted @ 2020-04-18 17:30 荣锋亮阅读(789) 评论(0) 推荐(0)

ff4j 特性开关功能开发的一些实践理论

摘要：以下是整理了ff4j 关于特性开关开发的一些实践避免功能分支合并过程中要素分支导致冲突。连续开发时，请使用基于主干的开发来关闭未完成的代码。蓝/绿部署避免群集节点在部署期间不一致，并交付停用的新功能。当所有节点都是最新的并且准备就绪时，切换为“ ON”。金丝雀发布不要创建专用的基础架构来阅读全文

posted @ 2020-04-17 11:14 荣锋亮阅读(1150) 评论(0) 推荐(0)

java 几个不错的特性开关框架

摘要：以下列出几个不错的java 特性开管框架，后边会有使用介绍 ff4j 一个比较活跃的，同时支持的后边存储也比较多，参考https://github.com/ff4j/ff4j，http://ff4j.github.io/ togglz 相对也比较活跃的，同时也提供了不同的状态存储模型，同时还有ui，阅读全文

posted @ 2020-04-17 08:49 荣锋亮阅读(1488) 评论(0) 推荐(0)

easy-rules spring boot 一个简单的starter

摘要：以下是一个简单的包装的一个easy-rules spring boot starter，以及使用说明 easy-rules spring boot starter 项目说明就是一个简单的spring boot starter，包装了easy rules 同时基于配置文件进行rule 的加载，注意阅读全文

posted @ 2020-04-16 20:29 荣锋亮阅读(2694) 评论(0) 推荐(0)

几个不错的开源formbuilder

摘要：比较新的还在更新的 unform https://github.com/Rocketseat/unform formik https://github.com/jaredpalmer/formik uniforms https://github.com/vazco/uniforms form-ren 阅读全文

posted @ 2020-04-15 09:38 荣锋亮阅读(2957) 评论(0) 推荐(0)

easy-rules spring boot集成使用二

摘要：前边有简单使用spring boot + mvel + json 模版的格式，以下是集成spring spel的说明具体的代码就不贴了，主要说明使用以及一些问题注意对于beanResolver 的支持需要4.0.0-SNAPSHOT 版本 spel rule 代码定义 Rules rules = 阅读全文

posted @ 2020-04-14 21:10 荣锋亮阅读(2160) 评论(0) 推荐(0)

easy-rules spring boot集成使用

摘要：以下是一个easy-rules 与spring boot集成的一个简单demo，主要目的是简单的集成以及一些集成上的一些思考项目准备项目结构 ├── pom.xml └── src ├── main │ ├── java │ │ └── com │ │ └── appdemo │ │ └── 阅读全文

posted @ 2020-04-14 15:01 荣锋亮阅读(5261) 评论(0) 推荐(0)

easy-rules facts 规则引擎说明

摘要：规则引擎是easy-rules facts 的核心，以下是关于规则引擎的一些参数说明从3.1 开始，easy-rules提供了一个新的rule 执行方法InferenceRulesEngine 我们可以进行推理的方式执行，直到有符合条件的rule 创建rule 引擎包含了两种，默认的以及一个包阅读全文

posted @ 2020-04-13 20:20 荣锋亮阅读(1765) 评论(0) 推荐(0)

easy-rules facts 说明

摘要： facts 是方便easy-rules传递数据的地方，同时也是线程不安全的地方，facts 是一个hashmap，我们可以在不同的优先级的 rule 中分享以及操作facts facts 格式 HashMap<String, Object> facts 代码方式定义 Facts facts = ne 阅读全文

posted @ 2020-04-13 20:01 荣锋亮阅读(1016) 评论(0) 推荐(0)

easy-rules rule 格式说明

摘要： easy-rules 提供了方便的注解，我们可以直接基于pojo编写rule rule 方法签名 public interface Rule { /** * This method encapsulates the rule's conditions. * @return true if the 阅读全文

posted @ 2020-04-13 19:53 荣锋亮阅读(1066) 评论(0) 推荐(0)

easy-rules json 文件格式rule定义

摘要：这次就不帖完整代码了，只说明json 格式以及核心代码调用 json 格式说明就是一个json 数组,每个rule 的格式参考如下,需要包含name，condition,priority,actions ,description 不是必须的 { "name": "3", "description 阅读全文

posted @ 2020-04-13 19:45 荣锋亮阅读(2515) 评论(0) 推荐(0)

easy-rules yaml 组合模式rule 配置

摘要： easy-rules 支持组合模式，但是一般我们看到的都是基于代码的，以下是一个基于yaml配置的组合模式rule 的试用项目结构 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3 阅读全文

posted @ 2020-04-12 23:35 荣锋亮阅读(2794) 评论(0) 推荐(0)

easy-rules 组合rule说明

摘要： easy-rules 目前支持三种组合模式的rule，以下是一个介绍，实际上我们可以参考实现进行扩展 UnitRuleGroup 代码 @Override public boolean evaluate(Facts facts) { if (!rules.isEmpty()) { for (Rule 阅读全文

posted @ 2020-04-12 23:00 荣锋亮阅读(3001) 评论(0) 推荐(0)

easy-rules mvel yaml 格式规则配置&&试用二——rule 数据返回结果

摘要：默认上easy-rules 的数据是没有返回值的，同时对于基于yaml 配置方式更是如此，官方给予我们了一种解决方法就是基于pojo添加返回字段，但是基于yaml 配置的方式就不方便了，实际上我们可以通过组合的模式——添加一个最总解决的rule（使用pojo）同时配置一个比较大的优先级，同时这个阅读全文

posted @ 2020-04-12 22:29 荣锋亮阅读(2591) 评论(0) 推荐(0)

easy-rules mvel yaml 格式规则配置&&试用

摘要：网上关于easy-rules 介绍的挺多了，以下是一个学习，以及一些学习说明 demo 说明 demo 是一个简单的用户实体,同时添加了一些帮助方法，对于规则的定义使用yaml 文件（实际上我们可以基于数据库，cache，s3文件系统。。。）包含了，在实际使用中我么如何修改数据以及mvel 的集成阅读全文

posted @ 2020-04-12 18:11 荣锋亮阅读(5255) 评论(0) 推荐(1)

几款不错的java规则引擎

摘要：以下列举几款不错的规则引擎，方便学习 drools 很强大的brms系统，同时生态也很不错，问题就是使用上复杂，参考https://github.com/kiegroup/drools&&https://www.drools.org/ OpenL Tablets 参考https://github.c 阅读全文

posted @ 2020-04-11 22:48 荣锋亮阅读(15402) 评论(0) 推荐(0)

alpine-glibc docker镜像

摘要： Dockerfile 来自frolvlad/alpine-glibc FROM alpine:3.11 ENV LANG=C.UTF-8 # Here we install GNU libc (aka glibc) and set C.UTF-8 locale as default. R 阅读全文

posted @ 2020-04-08 21:30 荣锋亮阅读(3401) 评论(0) 推荐(0)

几个添加外部js文件到react 的方法

摘要： react-script-tag 类似的也有react-html-metadata，react-helmet dom 方法在组件挂载的生命周期添加 react hooks 使用useEffect，同时我们也可以基于自定义的hooks添加参考资料 https://www.npmjs.com/pac 阅读全文

posted @ 2020-04-08 20:08 荣锋亮阅读(2585) 评论(0) 推荐(0)

minio 关闭默认browser

摘要： minio 自带了一个browser，但是在实际生产使用中就很不好了，应该关掉相关参数环境变量 MINIO_BROWSER=off 即可如果还需要使用browser的解决方法我们可以基于minio提供的gatway 模式，以下是一个参考实践基于docker-compose 部署，实际结合自阅读全文

posted @ 2020-04-07 18:52 荣锋亮阅读(5348) 评论(0) 推荐(0)

s3-fuse docker运行试用

摘要： s3-fuse 是一个很不错的基于fuse 暴露s3 数据为标准文件系统数据的扩展，以前有基于rpm包运行的demo 以下是基于docker-compose运行demo 一个参考案例环境准备 docker-compose文件 version: "3" services: minio: image: 阅读全文

posted @ 2020-04-07 18:43 荣锋亮阅读(1802) 评论(0) 推荐(0)

minio lifecycle 配置

摘要：尽管minio没有提供基于可视化界面的lifecycle 配置，但是也是支持对于bucket 对象策略的添加的环境准备安装minio集群注意此配置稍有复杂，但是是一个不错的学习环境，细节参考 https://www.cnblogs.com/rongfengliang/p/12639449.ht 阅读全文

posted @ 2020-04-07 09:55 荣锋亮阅读(5211) 评论(3) 推荐(0)

几个不错的java graphql 开发包

摘要：使用nodejs 以及脚本语言开发graphql 特别快，但是java 也有几个不错的graphql 开发包 graphql-java 使用的比较多的，地址https://github.com/graphql-java/graphql-java，同时文档很丰富 graphql-spqr 可以提供通过阅读全文

posted @ 2020-04-06 21:24 荣锋亮阅读(1460) 评论(0) 推荐(0)

restic 快速安全可靠的数据备份工具

摘要： restic 是基于golang 编写的快速，安全，可靠的数据备份工具,使用简单，同时支持多种后端存储支持的后端存储本地 sftp （通过ssh） http rest server （rest-server restic提供的） s3 （同时支持minio） openstack swift b 阅读全文

posted @ 2020-04-05 23:04 荣锋亮阅读(3091) 评论(0) 推荐(0)

使用sidekick 负载均衡minio 集群

摘要：实际上对于minio集群的lb+proxy 官方的cookbook 有解决（nginx，caddy)但是最近官方提供了一个新的基于 sidecar模式的选择-sidekick 以下是minio 集群集成sidekick 的试用环境准备整个环境都是基于docker运行 *docker-compos 阅读全文

posted @ 2020-04-05 22:08 荣锋亮阅读(3050) 评论(0) 推荐(0)

sidekick简单试用

摘要：前边有简单介绍过sidekick，以下是一个简单的使用安装可以通过github 下载https://github.com/minio/sidekick/releases，或者自己构建简单使用简单说明 sidekick使用简单，就是配置地址就可以了 sidekick http://ip:888 阅读全文

posted @ 2020-04-05 18:40 荣锋亮阅读(739) 评论(0) 推荐(0)

使用nfpm打包deb&&rpm

摘要： nfpm是受fpm启发的一个deb以及rpm包制作工具，goreleaser中的rpm包制作就依赖此包（当然是同一个人开发的）使用nfpm的好处是简单，跨平台（基于golang同时包也小），以下是一个简单的使用安装nfpm 比较简单，从github下载即可，https://github.com/ 阅读全文

posted @ 2020-04-05 18:17 荣锋亮阅读(1992) 评论(0) 推荐(0)

导航

公告