荣锋亮 - 博客园

materialize 基于sql 的流式数据处理平

摘要： materialize 是基于pg 开发的一个可以处理流式数据的平台，同时提供了强大的数据处理能力（也出现在了最新的技术雷达中）参考处理图通过下图可以看到支持批处理以及实时数据处理，我们可以通过sql 支持强大的数据处理说明 materialize 基于rust 开发，从目前官方文档的介绍发现阅读全文

posted @ 2020-11-01 11:11 荣锋亮阅读(907) 评论(0) 推荐(0)

boundary 基于身份标示的动态基础设施管理工具

摘要： boundary是hashicorp最新开源的动态基础设施身份管理工具，当前处于早期阶段，比较期待ga 参考资料 https://github.com/hashicorp/boundary https://boundaryproject.io/ 阅读全文

posted @ 2020-10-28 20:52 荣锋亮阅读(622) 评论(0) 推荐(0)

使用path 格式获取java hashmap key 值

摘要：一个简单场景，需要通过字符串格式获取hashmap 的数据参考请求格式 getvalue(hashmap,"<key>.<subkey>.<subkey>") 好处，我们不需要进行太多复杂的处理，就可以方便的获取支持嵌套hashmap的数据参考工具类 package com.dalong; 阅读全文

posted @ 2020-10-28 18:55 荣锋亮阅读(554) 评论(0) 推荐(0)

Kubeapps-2.0 发布了

摘要： Kubeapps-2.0 最进发布了，提供了好多新的特性，同时新的ui以下是一些参考连接 https://blog.bitnami.com/2020/10/Kubeapps-2.0.html https://github.com/kubeapps/kubeapps/releases/tag/v2.0 阅读全文

posted @ 2020-10-28 18:54 荣锋亮阅读(447) 评论(0) 推荐(0)

monio系统性能分析相关命令

摘要： minio 的mc 是一个很不错的工具，提供了比较全的关于minio 的操作，比如系统的profile profile命令可以生成profile 相关的（cpu,mem.block...） mc admin profile start --type cpu,mem,block <mc配置的endp 阅读全文

posted @ 2020-10-28 14:40 荣锋亮阅读(677) 评论(0) 推荐(0)

imgproxy 强大高效的图片处理服务

摘要： imgproxy 类似willnorris/imageproxy，但是功能上更加强大，也是基于golang编写的，但是支持的配置参数以及扩展上更加灵活参考使用场景参考运行启动服务 docker run -p 8080:8080 -it darthsim/imgproxy 重置图片大小例子 h 阅读全文

posted @ 2020-10-27 21:31 荣锋亮阅读(1980) 评论(0) 推荐(0)

java 使用js 引擎处理业务逻辑

摘要：一个比较简单的demo，就是基于java 内置的js 引擎，扩展业务逻辑代码，实现一个xml 解析的项目结构代码简单说明就是js 中使用了jackson xml 处理，同时获取xml 数组的第一个，转换为book 对象，方便业务处理 pom.xml <?xml version="1.0" en 阅读全文

posted @ 2020-10-27 19:41 荣锋亮阅读(1387) 评论(0) 推荐(0)

nodejs java 互调用

摘要： nodejs 与java的互调用方法很多，我们可选的是使用oracle 新的vm 引擎（graalvm很不错）还有就是基于browserify进行包装，同时给java 提供一套require 的模式机制，但是对于原生的nodejs 来说就有一些问题了，社区有人提供了一个基于jni的node 包装阅读全文

posted @ 2020-10-27 13:03 荣锋亮阅读(7019) 评论(0) 推荐(0)

开发一个简单的maven plugin

摘要： maven plugin 的开发还是比较清晰以及简单的，因为maven 提供了自己的ioc 以及开发约定，同时社区也有比较多的扩展我们都是可以参考学习的，官方也还算清晰简单说明如果需要开发maven 插件我们需要做的就是开发自己的mojo，同时配置一些参数注解，因为很多时候我们需要依赖外部服务阅读全文

posted @ 2020-10-25 14:42 荣锋亮阅读(1007) 评论(0) 推荐(0)

apache trafficcontrol 开源的基于golang 的cdn 框架

摘要： apache trafficcontrol 是一个开源的基于golang编写的可以用来cdn 的框架包含的模块流量操作流量路由流量统计流量portal 流量监控参考资料 https://trafficcontrol.apache.org/ https://github.com/apach 阅读全文

posted @ 2020-10-23 20:29 荣锋亮阅读(1149) 评论(0) 推荐(0)

sftpgo 多功能高度可配置的sftp server

摘要： sftpgo 是一个很不错的多功能特性的sftp server 同时支持s3，webdav，gcs，本地文件系统是一个很不错的mock server，同时也提供了强大的用户管理以及权限配置，同时源码也是很值得学习的，有空了可以试用了参考资料 https://github.com/drakkan 阅读全文

posted @ 2020-10-23 19:37 荣锋亮阅读(1896) 评论(0) 推荐(0)

opencsv csv 数据解析通用包

摘要： opencsv是一个很不错的java 版本csv 解析包，使用简单，而且比较灵活参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns: 阅读全文

posted @ 2020-10-23 19:09 荣锋亮阅读(1156) 评论(0) 推荐(0)

jenkins+ rclone定时同步sftp数据到s3

摘要：一个简单任务场景，业务对账，同时需要备份请求的对账文件（sftp服务），所以使用了一个强大的支持多种存储的工具rclone，然后定时自动同步到s3存储中，对于定时任务，使用jenkins（基于定时任务cron）使用jenkins的好处是灵活可以随意配置，同时我们系统已经有了好多构建节点，具有冗余阅读全文

posted @ 2020-10-23 13:29 荣锋亮阅读(944) 评论(0) 推荐(0)

一个关于java package 命名的一个坑

摘要：昨天写了一个简单的demo代码，一般java pacakge 的命名类似<com>.<company>.<subpackage> 格式的但是因为手误，将com 写成了con，因为自己使用的是mac系统，运行一点问题都没有，但是在提交git 之后同事需要使用部分参考代码（windows系统），然后阅读全文

posted @ 2020-10-22 19:49 荣锋亮阅读(239) 评论(0) 推荐(0)

spring boot 访问sftp csv 格式数据&&写入db

摘要：算是一个比较常见的问题，银行对账（sftp读取使用csv格式，比ftp安全点），一般都是定时数据处理（可以使用spring boot 的Scheduled 可以方便处理）以下只是说明关于sftp读取以及csv处理以及jdbc写入的依赖的组件 spring-integration-sftp（包装处阅读全文

posted @ 2020-10-22 11:28 荣锋亮阅读(1091) 评论(0) 推荐(1)

使用properties-maven-plugin管理配置

摘要： properties-maven-plugin 是一个很不错的配置管理插件，很多时候我们的配置有安全以及多环境的问题那个基于properties-maven-plugin 就是一个很不错的选择，我们可以基于此插件管理不用的配置，同时结合resource 插件进行资源的替换，可以灵活的管理我们的配阅读全文

posted @ 2020-10-21 12:53 荣锋亮阅读(1131) 评论(0) 推荐(0)

The Fault in Our JARs: Why We Stopped Building Fat JARs

摘要：一篇很不错的关于fat jar 的文章，参考资料https://product.hubspot.com/blog/the-fault-in-our-jars-why-we-stopped-building-fat-jars HubSpot’s backend services are almost 阅读全文

posted @ 2020-10-21 12:48 荣锋亮阅读(158) 评论(0) 推荐(0)

go-plugin hashicorp开源的golang插件框架

摘要： go-plugin 已经存在很长时间了，同时hashicorp公司的好多产品都在使用vault,terrform,nomad,waypoint 详细的介绍可以参考官方文档，以下只是一个简单的学习试用（demo来自官方）项目准备 go mod go mo init demo-plugin go ge 阅读全文

posted @ 2020-10-20 17:35 荣锋亮阅读(3353) 评论(0) 推荐(0)

maven 下载项目依赖jar包的方法

摘要：尽管我们使用了maven进行项目管理，但是很多时候可能需要使用依赖的jar包（排查问题，分发）我们可以基于maven-dependency-plugin 解决参考配置核心配置 <plugin> <groupId>org.apache.maven.plugins</groupId> <artif 阅读全文

posted @ 2020-10-20 11:36 荣锋亮阅读(3788) 评论(0) 推荐(0)

govalidator 方便的golang 数据校验框架

摘要： govalidator提供了基于tag 的golang 数据类型校验，实际上其他语言比如.net java ,typescript 也都有类似的框架以下是一个简单的试用环境准备 go mod go mod init demoapp 简单代码 main.go package main impo 阅读全文

posted @ 2020-10-19 23:04 荣锋亮阅读(780) 评论(0) 推荐(0)

go mod checksum mismatch 问题

摘要：最近在跑一个项目clone 完成代码之后需要进行构建，发现了如下问题 <wiz_code_mirror> verifying gopkg.in/src-d/go-git.v4@v4.13.1/go.mod: checksum mismatch downloaded: h1:G7mAYYxgmS0lV 阅读全文

posted @ 2020-10-19 21:38 荣锋亮阅读(4940) 评论(0) 推荐(0)

基于openresty的ip白名单控制

摘要：目的很简单，因为基于nginx的 ngx_http_access_module ip 模块有点太弱了，不灵活，可以直接使用openresty 在access_by_lua 阶段处理预备我们需要支持cidr格式的ip，所以需要一个灵活的ip解析处理包， hamishforbes/lua-resty 阅读全文

posted @ 2020-10-19 20:41 荣锋亮阅读(2197) 评论(0) 推荐(0)

go-linq 很不错的golang linq 包

摘要： go-linq 是.net linq 的golang 实现，使用简单灵活，而且支持多种操作模式，同时也支持基于范型函数，使得代码更清晰 linq 参考格式 From(slice) .Where(predicate) .Select(selector) .Union(data) 参考使用集成了mit 阅读全文

posted @ 2020-10-19 20:39 荣锋亮阅读(3307) 评论(0) 推荐(0)

ClearScript 微软开源的js 引擎

摘要： ClearScript 实际上属于一个老项目了，只是最近微软迁移到github了，同时也增强了跨平台的支持（linux,mac）对于基于.net 系列的软件开发是比较方便了，当然目前和graalvm 的js 引擎相比还是比较弱的，比较期待微软能有更好的提升目前支持的特性 js 与.net o 阅读全文

posted @ 2020-10-19 13:06 荣锋亮阅读(2391) 评论(0) 推荐(0)

malinajs来自Svelte 启发的前端编译器

摘要： malinajs是一个前端编译器，可以不用框架来开发web 应用，好处是我们的web 应用可以变得比较小以及快速，同时官方也提供了一些关于Svelte 以及vue3的比较，是一个比较有意思的项目同时官方也提供了一个repl可以方便的调试参考资料 https://github.com/malin 阅读全文

posted @ 2020-10-19 09:36 荣锋亮阅读(323) 评论(0) 推荐(0)

Luckysheet 国内企业开源的很不错的web excel 项目

摘要： Luckysheet 是由国内企业开源的web excel 项目，功能真的很强大，而且我们可以方便的集成到我们的web应用中参考资料 https://github.com/mengshukeji/Luckysheet 阅读全文

posted @ 2020-10-19 09:17 荣锋亮阅读(1842) 评论(0) 推荐(0)

Waypoint Server 安装

摘要：如果运行了官方的demo 应该知道默认需要进行server 的安装的，基于容器部署的应用需要进行server的部署启动实际上按照官方的说明，server 可以只需要一个，同时也是可以独立只不是一个的，并不需要部署多个的，以下是关于手工部署的简单说明部署流程启动server 只是初始化 way 阅读全文

posted @ 2020-10-18 22:15 荣锋亮阅读(233) 评论(0) 推荐(0)

Waypoint Entrypoint简单说明

摘要： Waypoint Entrypoint 实际上基于接口1号进程的一个二进制应用，类似docker 的tinit 进程（类似的很多）但是Entrypoint提供了其他的功能： url 服务应用配置 exec （类似容器的exec） logs （类似容器的logs）实例追踪参考图一个简单说明阅读全文

posted @ 2020-10-18 22:07 荣锋亮阅读(243) 评论(0) 推荐(0)

clustershell 方便的软件部署工具

摘要： clustershell 是基于基于python开发的事件驱动的包，提供也提供了cli工具，可以用来方便的管理大规模的软件包类似ansible，是一个值得使用的软件包以及工具集，同时以及存了各种语言的软件包，可以使用方便的安装参考资料 https://clustershell.readthed 阅读全文

posted @ 2020-10-18 21:18 荣锋亮阅读(161) 评论(0) 推荐(0)

waypoint docker 部署试用

摘要：以下是关于部署到docker的测试试用安装waypoint mac 系统 brew tap hashicorp/tap brew install hashicorp/tap/waypoint clone 代码 clone demo 代码 git clone https://github.com/h 阅读全文

posted @ 2020-10-18 12:44 荣锋亮阅读(368) 评论(0) 推荐(0)

waypoint 参考架构

摘要：以下内容来自官方文档概览包含的组件 server waypoint 比较核心的存储状态的服务，同时提供了api，方便cli，enrtypoint 以及其他消费者访问 cli 就是我们客户端使用的工具 entrypoint 提供了exec log 以及url 服务，属于一个包装，方便server 阅读全文

posted @ 2020-10-18 10:53 荣锋亮阅读(643) 评论(0) 推荐(0)

waypoint hashicorp 团队新开源的跨多平台的构建部署&&发布工具

摘要： hashicorp 真是很给力开源了waypoint可以多平台的构建，部署以及发布 waypoint设计与terrform 类似都提供了插件模式，目前支持的插件 buildpacks docker k8s aws&&ecs azure google cloud netlify .... 说明 way 阅读全文

posted @ 2020-10-17 21:40 荣锋亮阅读(486) 评论(0) 推荐(0)

pgenv 一个不错的postgres 多版本管理工具

摘要： pgenv 类似rbenv 以及pyenv，可以方便我们进行posgres 各种版本的管理（特别使用开发以及测试） pgenv 的使用还是比较简单的，同时官方也提供了比较全的说明文档参考资料 https://github.com/theory/pgenv 阅读全文

posted @ 2020-10-17 21:23 荣锋亮阅读(343) 评论(0) 推荐(0)

golang 一些不错的环境变量管理包

摘要： joho/godotenv ruby dotenv 库golang 的移植，功能还是比较强大的，同时支持编码加载变量参考使用 package main import ( "github.com/joho/godotenv" "log" "os" ) func main() { err := 阅读全文

posted @ 2020-10-17 21:17 荣锋亮阅读(625) 评论(0) 推荐(0)

treemux 集成pprof以及statsviz

摘要： pprof 是golang内置的一个性能分析包，使用简单、方便，statsviz 是最近开源的一个可视化的golang性能观察点以下是说明treemux 如何集成这两个工具准备pprof&&statsviz treemux handlerfunc 因为treemux与golang内置的hand 阅读全文

posted @ 2020-10-17 15:56 荣锋亮阅读(424) 评论(0) 推荐(0)

treemux 基于tree模型的golang http httprouter

摘要： treemux 是一个新的基于tree结构的httprouter 支持的特性包装的handler 中间件（handler包装） tree 模式的路由规则路由组（方便应用扩展）自定义错误自定义重定向参考使用参考代码 package main import ( "fmt" "net/ht 阅读全文

posted @ 2020-10-16 16:33 荣锋亮阅读(293) 评论(0) 推荐(0)

QRGen+thumbnailator生成包含logo 参考配置说明

摘要：以下主要是说明下生成的一些细节，减少使用难度参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3 阅读全文

posted @ 2020-10-16 12:30 荣锋亮阅读(232) 评论(0) 推荐(0)

golang图片处理的一些包

摘要：搜索来源子github，主要是进行一些整理，方便后期使用参考项目 https://github.com/golang/image https://github.com/fogleman/primitive https://github.com/disintegration/gift https: 阅读全文

posted @ 2020-10-16 12:25 荣锋亮阅读(1886) 评论(0) 推荐(0)

pg 关于使用zfs文件系统的优化参考

摘要：文章来自go-pg/pg 项目，官方文档有一篇关于pg使用zfs文件系统的优化说明，很不错，所以记录下，同时看了这篇文档大家对于一些性能优化也会有一些收获的-我们实际部署环境的时候最好结合实际的情况，合理选择较优的参数，以前经常和别人说过一个话题: sql server 大家一般使用上配置管阅读全文

posted @ 2020-10-16 12:24 荣锋亮阅读(599) 评论(0) 推荐(0)

QRGen+thumbnailator生成包含logo 的二维码

摘要：原理很简单：QRGen 生成二维码，同时结合thumbnailator的水印模式将图片放中心，这样一个支持logo 的二维码就可以了参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a 阅读全文

posted @ 2020-10-15 23:31 荣锋亮阅读(312) 评论(0) 推荐(0)

导航

公告