荣锋亮 - 博客园

juicefs csi 集成试用

摘要：主要是一个试用，对于k8s 使用了minikube minikube 安装这个直接可以参考官方文档 (注意可能需要合理上网) curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 阅读全文

posted @ 2022-01-06 00:00 荣锋亮阅读(294) 评论(0) 推荐(0)

census 安全处理模式

摘要：通过此图以及官方的文档我们可以更好的了解实现机制参考机制详细内容参考官方文档，以下是一个参考图参考图参考资料 https://blog.getcensus.com/reverse-etl-benchmark-series-pt-1-census-44x-faster-than-hightouc 阅读全文

posted @ 2022-01-04 21:12 荣锋亮阅读(54) 评论(0) 推荐(0)

castled 简单原理说明

摘要：主要是一个简单的原理说明，具体的后续会从代码层面说明参考图 poller 接口定义 public interface WarehouseDataPoller { WarehousePollResult pollRecords(WarehousePollContext warehousePollCo 阅读全文

posted @ 2022-01-04 20:51 荣锋亮阅读(136) 评论(0) 推荐(0)

castled 运行试用

摘要： castled 官方直接提供了docker-compose 一键运行环境运行 docker-compose git clone https://github.com/castledio/castled.git cd castled docker-compose up -d pg 准备 docker 阅读全文

posted @ 2022-01-03 22:49 荣锋亮阅读(66) 评论(0) 推荐(0)

反向ETL 一些参考知识

摘要：反向ETL 实际是一种集成模式，以下这张图可以说明反向ETL 的位置参考图说明基于标准的玩法，系统开发会越来越简单，反向ETL 是从业务模型上通用化了新的处理模式，对于我们的集成会方便很多，以下一些参考资料值得学习下参考资料 https://hightouch.io/blog/reverse 阅读全文

posted @ 2022-01-03 14:56 荣锋亮阅读(202) 评论(0) 推荐(0)

castled 开源反向ETL 工具

摘要：反向ETL 是这几年因为数据集成演变出来的一个新型数据集成模式（saas 的兴起，以及外部共享的需求） castled 参考玩法支持的特性增量以及全量同步自动异常处理以及恢复弹性可靠 CFL （castled自己的一套UI框架） k8s 集成说明 castled 同时支持扩展，提供了jav 阅读全文

posted @ 2022-01-03 14:41 荣锋亮阅读(201) 评论(0) 推荐(0)

epress proxy+ nodeesi 实现简单微前端

摘要：实际上我以前也写过类似的（ssi+client esi 的）以下是一个服务器端的esi 参考玩法(内容来自youtube) 参考图环境准备 http proxy 部分代码 const app = require("express")() const proxy = require("express 阅读全文

posted @ 2022-01-03 13:18 荣锋亮阅读(74) 评论(0) 推荐(0)

ozone 为 apache hadoop 提供扩展分布式对象存储的服务

摘要：主要是为hadoop 以及cloud native 环境一共可扩展，冗余的分布式对象存储支持的特性多协议（hadoop fs 以及s3）可扩展，可以支持10亿级对象存储强一致系统 cloud native 安全（支持kereros 集成）高可用核心组件说明 ozone 做为s3 以及强阅读全文

posted @ 2022-01-02 23:45 荣锋亮阅读(258) 评论(0) 推荐(0)

esigate java esi实现框架

摘要： esigate 是esi 标准的一个java 实现，包含了server，servlet，core 等几个模块，尽管项目目前已经更新比较少了，但是是一个很不错的esi 实现，提供的扩展点也比较多特性基于ssi 的集成（cms系统）远端模版共享（和现在的微前端的集成模式比较类似） web 加速（基阅读全文

posted @ 2022-01-02 23:32 荣锋亮阅读(81) 评论(0) 推荐(0)

streamsets 可选替换工具

摘要： streamsets 是一个很不错的数据处理工具（工具齐全）或者支持的周边比较好，但是从去年开始streamsets就放弃了开源了，开源版本维持在了3.23了，对于我们需要进行数据处理以及依赖streamsets是一个不太好的消息，以下说明一些可选的替换工具一些可选工具 apache nifi 总阅读全文

posted @ 2022-01-02 22:35 荣锋亮阅读(2592) 评论(0) 推荐(0)

使用squid 让 docker for mac 支持基于容器ip 访问

摘要：尽管docker for mac 实现了类似linux 的docker 使用体验，但是毕竟使用技术上是不一样的（还是虚拟化技术）但是我们可以直接基于正向代理实现直接基于容器ip 的访问体验环境准备 docker-compose version: "3" services: nginx: imag 阅读全文

posted @ 2022-01-02 11:03 荣锋亮阅读(283) 评论(0) 推荐(0)

基于squid 暴露k8s 服务

摘要：实际上与我去年基于golang编写的一个特别简单的功能是类似的，知识基于squid 解决原有方案基于squid 的方案技术上是一样的都是正向代理，强大的地方在于利用了squid 强大的控制能力，同时可以直接使用squid 的认证，增强系统的安全说明技术上没啥核心与基于golang 的模式是阅读全文

posted @ 2022-01-01 23:43 荣锋亮阅读(161) 评论(0) 推荐(0)

TriggerMesh 开源强大的事件驱动的集成平台

摘要： TriggerMesh 是基于k8s&knative 的事件驱动的开发集成平台，我们可以基于声明式的方式进行数据集成处理可以让我们实现集成组件即代码,TriggerMesh 基于hcl 配置搞了一套自己的定义语言（hcl 本来就对于定义配置比较友好） TriggerMesh 的组件 TriggerM 阅读全文

posted @ 2021-12-31 22:20 荣锋亮阅读(340) 评论(0) 推荐(0)

juicefs 多s3 bucket 使用

摘要： juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮阅读(506) 评论(0) 推荐(0)

juicefs s3 gateway 试用

摘要：前边说明juicefs 支持对象存储进行分布式部署，我们以及minio进行了部署测试，以下是测试s3 gateway 目的我们以及基于s3进行了存储提供，然后又使用s3 gateway 主要是更好的进行文件访问，因为s3 存储的是chunk块文件基于s3 gateaway 我们可以更好的进行存储阅读全文

posted @ 2021-12-28 00:09 荣锋亮阅读(568) 评论(0) 推荐(0)

使用juicefs 让s3 更好兼容posix协议

摘要： juicefs 是一个很不错的云原生高性能共享文件系统，以下是s3的测试环境准备 docker-compose version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY=minio" - "MINI 阅读全文

posted @ 2021-12-27 23:52 荣锋亮阅读(532) 评论(0) 推荐(0)

juicefs 单机试用

摘要： juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析参考架构参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮阅读(231) 评论(0) 推荐(0)

maven 多模块父模块问题deploy 问题

摘要：很多时候我们只需要发布父pom，对于子模块需要独立处理（发布特定的子模块）解决方法忽略递归子模块 mvn clean package deploy -N // 在父pom目录指定deploy 项目 mvn clean package deploy -pl . // 在父pom目录参考mave 阅读全文

posted @ 2021-12-24 21:11 荣锋亮阅读(2069) 评论(0) 推荐(0)

wundergraph 又一个即将开源强大的graphl 引擎

摘要： wundergraph 是一个即将开源的强大graphl 引擎，基于prisma+go 目前代码暂时还看不到，但是从官方文档上看到wundergraph 是很强大的，而且官方博客也写了关于Hasura 的比较，wundergraph是可以用来高api-mesh的一些参考图说明因为wunderg 阅读全文

posted @ 2021-12-23 12:02 荣锋亮阅读(255) 评论(0) 推荐(0)

WebSub 互联网分布式\订阅标准

摘要： WebSub 扩展了atom 以及rss ，主要是为了提供即时更新通知参考流程说明官方文档还是提供了比较完备的信息，但是目前来说此协议使用的范围并不是很广参考资料 https://w3c.github.io/websub/#tochttps://github.com/w3c/websub 阅读全文

posted @ 2021-12-19 20:22 荣锋亮阅读(185) 评论(0) 推荐(0)

k8s集群部署几种方式

摘要：几种可选的工具 kubeadm https://github.com/kubernetes/kubeadm kops https://github.com/kubernetes/kops k0s https://k0sproject.io/ kubespray https://github.com/ 阅读全文

posted @ 2021-12-18 01:05 荣锋亮阅读(410) 评论(0) 推荐(0)

webservice 动态调用使用技巧

摘要：参考使用 maven 引用 <dependency> <groupId>org.apache.cxf</groupId> <artifactId>cxf-rt-frontend-jaxws</artifactId> <version>${cxf.version}</version> </depend 阅读全文

posted @ 2021-12-18 00:59 荣锋亮阅读(216) 评论(0) 推荐(0)

Why OpenMetadata is the Right Choice for you

摘要：转自: https://blog.open-metadata.org/why-openmetadata-is-the-right-choice-for-you-59e329163cac We’ve had an overwhelming response for the OpenMetadata p 阅读全文

posted @ 2021-12-17 21:17 荣锋亮阅读(181) 评论(0) 推荐(0)

jattach最近的一些更新

摘要： jattach 还是一直在更新的，而且目前也支持openj9 了同时对于容器也有了更好的支持让我们可以更好的使用一个轻量工具实现 jmap+jcmd+jstack+jinfo 的能力（而且不需要安装jdk）而且目前还包含了直接基于软件包进行安装 tomcat java 容器容器没有包含jdk 阅读全文

posted @ 2021-12-15 20:46 荣锋亮阅读(442) 评论(0) 推荐(0)

k8s 数据卷需要很长时间才能挂载成功

摘要：这个问题还是比较常见的，尤其是我们在使用了securitycontext 以及挂载的文件很多的时候（碎文件多）原因当我们配置了fsGroup 的是否就会很慢，k8s 会进行递归chown 以及chmod 当我们的文件很多的时候问题就很突出了，而且随着文件越多，我们的挂载就越慢解决方法 k8s 阅读全文

posted @ 2021-12-15 02:54 荣锋亮阅读(515) 评论(0) 推荐(0)

使用npm workspace 管理npm 包

摘要：从npm 7.0 开始已经支持workspace了（以前大家使用的比较多的是lerna 以及yarn。。。。） npm 的workspace 使用简单，而且将依赖统一放到了node_moduels 文件夹中，而且可以减少我们测试的npm link 问题，是值得尝试的参考使用初始npm 项目 n 阅读全文

posted @ 2021-12-15 01:33 荣锋亮阅读(4632) 评论(0) 推荐(0)

atop 很不错的系统以及进程监控工具

摘要： atop 是一个不错的linux 性能分析工具，基本上也就是一个比较全面的工具了，很值得使用下下载 wget https://www.atoptool.nl/download/atop-2.6.0-1.el7.x86_64.rpm --no-check-certificate 安装 yum ins 阅读全文

posted @ 2021-12-12 22:39 荣锋亮阅读(523) 评论(0) 推荐(0)

使用logux 一种新的连接client 以及server的模式

摘要： logux 创建者是一位牛人（PostCSS and Autoprefixer 的创建者），logux利用了websocket 以及crdt 协议，可以让我们的websocket 服务以及rest api 包装为实时同步的（当然功能更加强大，也利用了一些p2p 的设计模式）。logux也包含了一套自阅读全文

posted @ 2021-12-12 22:00 荣锋亮阅读(76) 评论(0) 推荐(0)

类似nginx include 模式管理haproxy 配置文件

摘要：默认haproxy 是所有配置都在一个文件中，实际上haproxy 的配置是支持基于文件夹管理的以下是一个参考的使用说明环境准备 docker-compose version: '3' services: haproxy: image: haproxytech/haproxy-debian:2. 阅读全文

posted @ 2021-12-11 23:22 荣锋亮阅读(265) 评论(0) 推荐(0)

使用haproxy golang config-parser 包生成haproxy 配置

摘要：以下只是简单使用，具体复杂操作建议好好学习下haproxy的配置文件说明 demo 代码 go mod module demoapp go 1.16 require github.com/haproxytech/config-parser/v4 v4.0.0-rc2 // indirect main 阅读全文

posted @ 2021-12-11 01:16 荣锋亮阅读(223) 评论(0) 推荐(0)

一种基于s3 管理haproxy 配置的模式

摘要：参考图原理说明提供一个原子配置模版，比如haproxy 需要包含一个frontend 以及backend，同时也会包含一些global 以及default 配置（共用的）frontend 以及backend 是成对出现的，我们基于数据库进行管理，每对实现一个版本以及状态管理，同时提供一个agen 阅读全文

posted @ 2021-12-11 00:56 荣锋亮阅读(112) 评论(0) 推荐(0)

haproxy 动态配置的几种解决方案

摘要： haproxy 新版本特性是比较都的，以下说明集中动态配置的方法几种参考方法 consul 官方支持基于consul 的服务发现 dns 基于dns 的服务发现 dataplane api 基于dataplan api 进行控制 confd confd 是一个很不错的方案 ingress cont 阅读全文

posted @ 2021-12-11 00:00 荣锋亮阅读(965) 评论(0) 推荐(0)

haproxy tcp 白名单配置说明

摘要：基于acl 可以让haproxy 支持强大的访问控制以及流程处理，以下是一个简单的基于tcp-request 进行4层ip白名单的处理参考配置环境准备 version: '3' services: haproxy: image: haproxytech/haproxy-debian:2.5.0 阅读全文

posted @ 2021-12-09 17:50 荣锋亮阅读(942) 评论(0) 推荐(0)

nginx 动态模块问题

摘要： nginx 的动态模块是一个很不错的模块共享方案，但是也有一些限制而且问题比较明显限制必须使用相同的nginx 版本构建，nginx 的升级容易造成服务启动失败（尤其是自己构建的一些三方模块）推荐解决方法实际上nginx 官方提供了一套完备的构建（nginx 以及模块）的依体系，如果我们参考阅读全文

posted @ 2021-12-05 18:40 荣锋亮阅读(286) 评论(0) 推荐(0)

基于minio s3 gateway 改造业务系统支持基于webhook的文件处理

摘要：文件上传是我们日常中比较常见的问题，而且我们很多时候是要进行额外的处理的比如缩略图，数据加工（数据分析类的应用），按照传统的模式（本地数据盘，或者一些已知开源工具）是不能很好的支持变动处理的，对于此类情况，我们基于s3 gateway 的webhook 能力，可以方便的实现通知集成简化系统处理的复杂阅读全文

posted @ 2021-12-05 10:57 荣锋亮阅读(567) 评论(0) 推荐(1)

nginx 作为s3 的gateway

摘要： nginx 自己出了一个s3 的gateway ，原理上是基于njs 编写的，同时利用了xsl 模块功能上是一个不错的选择但是就是有点太弱了，而且s3 的兼容性是一个问题（不好说能兼容多少，需要测试）主要的使用场景可选认证 cache 压缩限速说明官方目前没有发布docker 镜像，我已经阅读全文

posted @ 2021-12-05 10:11 荣锋亮阅读(1020) 评论(0) 推荐(0)

nginx 官方镜像njs 使用

摘要：实际上nginx 官方docker 镜像已经包含了njs 模块了参考使用环境准备 version: "3" services: api: image: nginx:1.20.2 volumes: - "./nginx.conf:/etc/nginx/nginx.conf" - "./js:/op 阅读全文

posted @ 2021-12-04 21:45 荣锋亮阅读(1124) 评论(0) 推荐(0)

haproxy 推荐的性能优化参数

摘要：通过修改/etc/sysctl.conf 支持（取消如下的注释）官方参考优化参数 # Limit the per-socket default receive/send buffers to limit memory usage # when running with a lot of concu 阅读全文

posted @ 2021-12-03 23:01 荣锋亮阅读(378) 评论(0) 推荐(0)

支持prometheus+lua haproxy 2.5 rpm 包

摘要：为了项目集成使用自己构建了一个包含lua 以及prometheus的rpm包（基于开源的，只是自己构建了下）参考使用 listen stats bind :9000 #option http-use-htx mode http http-request use-service prometheus 阅读全文

posted @ 2021-12-03 22:35 荣锋亮阅读(212) 评论(0) 推荐(0)

edgedb 候选版3发布了

摘要： edgedb 是让人等待时间比较长，但是一直在演进的数据库，目前来说是越来越接近ga了说明从介绍上主要是bug修复，总的来说是越来越稳定了，具体可以参考官方文档，估计明天可能会ga 。。。。参考资料 https://www.edgedb.com/docs/intro 阅读全文

posted @ 2021-12-03 22:21 荣锋亮阅读(168) 评论(0) 推荐(0)

导航

公告