荣锋亮 - 博客园

graylog OutputBuffer 简单说明

摘要：因为graylog 比较依赖buffer，所以对于输出，套路与process 类似，技术上也依赖了Disruptor消息处理上依赖一个OutputBufferProcessor，与process 一致，OutputBufferProcessor 后边说明说明 output 以process 实现套阅读全文

posted @ 2022-10-04 09:28 荣锋亮阅读(80) 评论(0) 推荐(0)

graylog ProcessBufferProcessor 简单说明

摘要： ProcessBufferProcessor 的核心是进行消息处理，会调用消息处理器，同时会将消息放到OutputBuffer 中 ProcessBufferProcessor 实际上是ProcessBuffer 中Disruptor 的一个handler 核心处理 handleMessage 方法阅读全文

posted @ 2022-10-04 09:21 荣锋亮阅读(81) 评论(0) 推荐(0)

graylog ProcessBuffer 简单说明

摘要： graylog 在消息进入之后（对应input ），选择不同的handler 处理之后，会到不同的buffer 中对于DirectMessageHandler 的会到ProcessBuffer 中，对于是否开启了Journalling，处理会不一样开启了会先使用RawMessageEncoderHa 阅读全文

posted @ 2022-10-04 08:48 荣锋亮阅读(163) 评论(0) 推荐(0)

fast-data-dev 快速基于容器的kafka 环境

摘要： fast-data-dev 是由lensesio 团队提供的一个快速部署kafka 测试环境的工具包含的组件 kafka zk schema registry kafka connect 以及其他不少的connector 参考资料 https://github.com/lensesio/fast- 阅读全文

posted @ 2022-10-03 16:17 荣锋亮阅读(105) 评论(0) 推荐(0)

graylog 的InputBuffer 简单说明

摘要： InputBuffer 是graylog 实际处理日志的部分，内部处理基于了Disruptor，同时还依赖了Journalling 能力内部实际处理是依赖LocalKafka的（而且是推荐的） InputBuffer 处理的几个模式目前主要包含了3大类 DirectMessageHandler, 阅读全文

posted @ 2022-10-03 13:48 荣锋亮阅读(108) 评论(0) 推荐(0)

graylog MessageInput 简单说明

摘要： input 是graylog 处理消息的核心，内部对于网络的处理是基于了netty 框架，消息的核心基类是MessageInput 基类的能力如下图，包含了基本常用的配置，状态，以及input 节点信息，同时还包含input 组件的静态资源，以及contenpack （后续说明）每个input 会阅读全文

posted @ 2022-10-03 12:53 荣锋亮阅读(204) 评论(0) 推荐(0)

graylog jprofiler docker 镜像

摘要：主要是添加jprifler 方便学习参考dockerfile 很简单，添加文件就行了,具体jprofiler 官方下载解压就行了 FROM graylog/graylog:4.3 COPY jprofiler13.0.3/ /opt/jprofiler13/ 参考使用 version: '3' s 阅读全文

posted @ 2022-10-03 07:59 荣锋亮阅读(94) 评论(0) 推荐(0)

graylog rest servcie 启动&集成说明

摘要：参考处理模块定义Graylog2Module protected void addSystemRestResource(Class<?> restResourceClass) { systemRestResourceBinder().addBinding().toInstance(restReso 阅读全文

posted @ 2022-10-03 00:08 荣锋亮阅读(101) 评论(0) 推荐(0)

glassfish-hk2 轻量级依赖注入框架

摘要： glassfish-hk2 是基于JSR-330 标准的依赖注入解决方案，java 一些web 框架比较依赖这个，国内大家使用的不是很多（spring 偏多。。。。）包含的特性自定义生命周期以及scope events aop 以及proxy 支持自定义注入解决方案辅助注入（类似guice 阅读全文

posted @ 2022-10-02 18:40 荣锋亮阅读(610) 评论(0) 推荐(0)

使用blurhash 算法优化图片加载

摘要： blurhash使用了一个相对简单的算法，实现了图片的加载处理，同时也可以给予用户不错的体验说明 blurhash是一个比较老的技术了，，尽管我们还有一些其他技术可以优化图片的加载,但是还是值得试用下的参考资料 https://blog.wolt.com/hq/2019/07/01/how-we 阅读全文

posted @ 2022-10-02 10:15 荣锋亮阅读(257) 评论(0) 推荐(0)

guice AssistedInject 简单说明

摘要： guice AssistedInject 主要的场景是解决一个对象的创建同时依赖一个实例访问以及ioc 容器，通用的解决方法是通过工厂方法，因为比较常见，所以guice 提供了一个扩展，可以解决类似问题，对于需要使用的时候我们需要基于工厂方法注入参考实例 AppDemoInject 需要依赖i 阅读全文

posted @ 2022-10-02 10:06 荣锋亮阅读(207) 评论(0) 推荐(0)

graylog 的schema

摘要： graylog schema 实际上是graylog 的字段模型，都是graylog 应用内部核心的实体，如果从实际来说并不是什么通用schema更多是一个字段的参考文档，可以方便使用参考资料 https://schema.graylog.org/en/stable/ 阅读全文

posted @ 2022-10-02 09:12 荣锋亮阅读(43) 评论(0) 推荐(0)

graylog 索引模型

摘要： graylog 为了简化处理以及提供系统的性能以及灵活性，自己开发了特定的索引处理，原理上并不难，但是很值得学习写处理使用了别名，可以保证不影响业务使用，同时包含了定时任务进行索引的轮转以及创建新的索引读处理基于时间范围的索引查询，可以提示性能说明对于graylog 我们可以通过界面进行阅读全文

posted @ 2022-10-01 22:45 荣锋亮阅读(144) 评论(0) 推荐(0)

pg_eventserv push pg 变动事件到websocket 服务

摘要： pg_eventserv 的实现原理并不难，核心还是利用了pg 的特性，只是包装了一个方便的golang server 然后我们可以通过webscoket 发送出去参考使用 CREATE TABLE people ( pk serial primary key, ts timestamptz DE 阅读全文

posted @ 2022-10-01 22:04 荣锋亮阅读(85) 评论(0) 推荐(0)

graylog 的journal message 实现简单说明

摘要： graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块，以下说明下具体实现功能接口图简单调用关系启动入口 LocalKafkaJournal 类核心部分如下（LocalKafkaJournal 构造函数部分），对于其他read 已经write 阅读全文

posted @ 2022-10-01 21:26 荣锋亮阅读(171) 评论(0) 推荐(0)

graylog 的journal message 存储简单说明

摘要： graylog journal message 是一个数据的背压处理策略，默认graylog 对于消息是基于disruptor 处理的，里边包含了buffer，但是如果消息比较多，来不及处理的 journal message 存储就比较重要的，默认是5G 大小，同时也包含了数据清理策略，内部处理上基阅读全文

posted @ 2022-10-01 16:30 荣锋亮阅读(138) 评论(0) 推荐(0)

graylog 插件模型之PluginModule

摘要： graylog 的PluginModule 可以简化graylog 插件的开发，方便我们进行扩展参考功能类结构从下图可以看出是依赖了guice 进行的包装，代码中好多都是支持依赖PluginModule开发的，PluginModule 提供了功能模块bean 的注册包含的能力从下图可以看出阅读全文

posted @ 2022-10-01 08:49 荣锋亮阅读(227) 评论(0) 推荐(0)

graylog grn介绍

摘要： grn 是graylog 的资源名称，属于一种urn，从功能上类似aws 的 arn 主要用来进行权限以及资源分配管理参考格式 grn:<cluster>:<tenant>:<scope>:<type>:<entity> graylog 解析处理核心是slit，然后拆分处理 static GRN 阅读全文

posted @ 2022-10-01 08:18 荣锋亮阅读(110) 评论(0) 推荐(0)

java 前后端开发模式简单说明

摘要：实际上我以前写过一个简单的web 前后端部署模式的说明，以下简单说明下关于java 语言的，毕竟这个使用人群比较多参考图前后端彻底分离模式（都独立部署） web 使用基于nodejs 周边的能力，使用web 框架开发，之后部署到nginx 或者cdn中，然后通过api gateway 访问后端阅读全文

posted @ 2022-09-30 18:56 荣锋亮阅读(243) 评论(0) 推荐(0)

net.schmizz.sshj.transport.TransportException: Could not verify ssh-ed25519 host key with fingerprint 问题解决

摘要：主要是在使用jprofiler 同时修改了server 的端口之后出现的问题，记录下解决临时方法（毕竟jprofiler 代码混淆了）参考解决方法核心是使用ssh-keyscan -t ed25519 生成指纹信息参考 ssh-keyscan -t ed25519 -p 49633 sftp. 阅读全文

posted @ 2022-09-30 09:47 荣锋亮阅读(1516) 评论(0) 推荐(0)

frontend-maven-plugin +jib-maven-plugin 构建前后端混合docker 项目

摘要：核心是基于frontend-maven-plugin+ jib-maven-plugin 构建基于docker 运行的项目项目结构 ├── README.md ├── frontends // web │ ├── app.css │ ├── index.html │ ├── package.jso 阅读全文

posted @ 2022-09-28 21:27 荣锋亮阅读(238) 评论(0) 推荐(0)

JadConfig classpathRepository 扩展

摘要： JadConfig 默认包含了基于内存，properties 文件，系统属性，以及环境变量的Repository，但是对于classpath 的文件处理不是很方便我们可以自己在扩展接口实现定义 public interface Repository { /** * Opens the confi 阅读全文

posted @ 2022-09-26 23:40 荣锋亮阅读(42) 评论(0) 推荐(0)

buildg 交互式dokcerfile debuger 工具

摘要： buildg 的设计是比较有意思的，使用buildg 可以解决我们dockerfile 调试的问题，内部基于了buildkit 类似的工具 buildkitcntrcontainerd 参考资料 https://github.com/ktock/buildghttps://github.com/mo 阅读全文

posted @ 2022-09-25 23:57 荣锋亮阅读(91) 评论(0) 推荐(0)

JadConfig 注解驱动的java 配置管理包

摘要： JadConfig 是graylog 开源的一个基于注解驱动的java 配置管理包，graylog server 对于配置的管理就是使用了此包 JadConfig 使用比较简单，但是功能还是很强大的，配置包含了校验处理参考使用使用默认PropertiesRepository 处理 Configu 阅读全文

posted @ 2022-09-25 23:33 荣锋亮阅读(69) 评论(0) 推荐(0)

qperf 网络测试工具

摘要： qperf 是测试延迟以及带宽的工具，一般的用法是一个机器使用不带参数的，另外一个机器使用qperf hostname tests或者其他命令支持的tests Miscellaneous conf Show configuration quit Cause the server to quit S 阅读全文

posted @ 2022-09-20 22:47 荣锋亮阅读(698) 评论(0) 推荐(0)

使用 victoriametrics vmagent 解决 coroot prometheus 大量存储以及push 问题

摘要：日常环境我们经常需要使用push 模式进行metrics 的处理，vmagent 是一个很不错的选择，尽管官方提供了一个promtun 但是很不好使用参考玩法如下图，直接使用vmagent 解决push的问题，基于victoriametrics 强大的能力，可以扩展多租户的支持环境准备 doc 阅读全文

posted @ 2022-09-19 22:32 荣锋亮阅读(542) 评论(0) 推荐(0)

coroot 简单试用

摘要：主要是体验下coroot ，基于虚拟机+docker-compose 混合模式参考玩法本次玩法 coroot server 以及prometheus 使用容器部署（docker-compose），因为内核原因原因，node-agent 基于了虚拟机，同时安装了,5.4 的内核环境配置 dock 阅读全文

posted @ 2022-09-19 19:49 荣锋亮阅读(342) 评论(0) 推荐(0)

coroot 玩法简单说明

摘要： coroot 与一般基于ebpf 进行系统监控的工具不一样，coroot 将log 也放到了prometheus 中玩法参考图对于metrics 以及log 都是通过prometheus exporter push 到中央的prometheus 中，同时coroot 的server 做为一个pr 阅读全文

posted @ 2022-09-19 17:30 荣锋亮阅读(811) 评论(0) 推荐(0)

coroot 开源微服务架构监控以及问题解决工具

摘要： coroot 的架构设计上基于了prometheus，同时也依赖了ebpf（已经成为业界问题分析的标配了），同时官方也开源了不少exporter，比如node，pg，aws 。。。。包含的特性 tcp 链接追踪包含了tcp 事件，比如connect，listen 日志提取包含了/var/log 阅读全文

posted @ 2022-09-19 11:41 荣锋亮阅读(302) 评论(0) 推荐(0)

linux kernel 下载地址

摘要：日常中centos7 内核版本一直比较保守，比较低，很多时候我们需要新版本的，同时也可能会需要一个已经归档的版本，以下整理以下资料方便使用最新kernel 版本可以使用elrepo ，具体可以参考如下链接已经归档的可以已经归档的可以使用coreix 的镜像，具体参考如下链接安装之后需要的阅读全文

posted @ 2022-09-19 11:40 荣锋亮阅读(145) 评论(0) 推荐(0)

wunderbase wundergraph 团队开源的一个serverless graphql database

摘要： wunderbase 是基于sqlite,prisma 以及firecracker 的开发的serverless graphql databasewunderbase 内部利用了prisma 的查询引擎，将graphql 查询，转换为sql，wundergraph团队添加了一个基于golang 开发阅读全文

posted @ 2022-09-18 22:33 荣锋亮阅读(27) 评论(0) 推荐(0)

buf connect-go 路由

摘要： buf connect-go 的路由，只是利用了golang http handler 的特性参考使用 package main import ( "context" "log" "net/http" "github.com/bufbuild/connect-go" userloginv1 "gi 阅读全文

posted @ 2022-09-18 21:00 荣锋亮阅读(90) 评论(0) 推荐(0)

observIQ 开源的OpenTelemetry collector 实现

摘要： OpenTelemetry collector 是一个标准，有官方的实现以及社区的实现， observiq-otel-collector 是社区开源实现目前看着还是不错的，只得尝试下，而且背后的团队是一家公司参考资料 https://github.com/observIQ/observiq-ote 阅读全文

posted @ 2022-09-18 18:01 荣锋亮阅读(110) 评论(0) 推荐(0)

buf connect-go 试用

摘要： golang 包含一个grpc-web 可以让浏览器运行grpc，但是是需要一些中间件工具的，connect-go 简化了处理，可以基于post 通过 http 协议就可以试用grpc 了包含的特性基于http 简单多协议支持，包含了grpc，grpc-web 参考试用初始化注意还需要配置阅读全文

posted @ 2022-09-18 17:50 荣锋亮阅读(279) 评论(0) 推荐(0)

buf buf.work.yaml 一个好用的功能

摘要：实际上此功能是在学习中发现的，按照一般的玩法，buf 的包是需要一个buf.yaml 文件的，但是假如没有，同时想进行管理（比如使用buf generate）我们可以通过一个buf.work.yaml 配置，就可以不用添加buf.yaml 了参考 proto 定义 └── proto └── u 阅读全文

posted @ 2022-09-18 17:47 荣锋亮阅读(229) 评论(0) 推荐(0)

buf 的bsr

摘要： bsr 是buf 的schema 仓库，实现了类似npm 的能力，属于云服务 bsr 的目的中心化仓库依赖管理 ui 以及文档代码生成说明尽管buf 的bsr 没有开源，但是bsr 的proto schema 定义是开放了的，似乎我们可以参考此实现一个简单的私有仓库具体schema 路径p 阅读全文

posted @ 2022-09-18 11:00 荣锋亮阅读(204) 评论(0) 推荐(0)

buf 工具对于buf使用的学习

摘要： buf 就是基于buf 开发的，有不少实践可以参考学习 buf buf 项目结构如下图使用说明 buf.yaml 主要定义包包命名代码生成基本模式包含复杂插件的说明以及是一个简单的说明，buf 就是基于buf 开发的，通过学习buf 项目，我们可以学习到一些buf 的实践玩法，同时也阅读全文

posted @ 2022-09-18 10:33 荣锋亮阅读(212) 评论(0) 推荐(0)

buf 工具简单学习

摘要： buf实际上是一个围绕protocol buffers 的工具链，包含了不少东西，对于我们来说使用比较多的就是buf cli 以下主要说明下buf cli 的简单使用 buf 的能力包含了lint，gen，workspace 管理，formater，deps 管理简单使用初始化项目项目目的，阅读全文

posted @ 2022-09-17 22:18 荣锋亮阅读(865) 评论(0) 推荐(0)

buf 工具的一些概念

摘要： buf 可以使用类似包管理的概念解决protocol buffers 管理的问题 buf 包定义 buf 的包，部分功能是借鉴了类似npm 的一些玩法，只是对象简单一些，一个包是包含了一个buf.yaml 文件的服务定义buf 包里边包含了protoc 文件，buf.yaml 文件同时包含了prot 阅读全文

posted @ 2022-09-17 21:50 荣锋亮阅读(439) 评论(0) 推荐(0)

parca 项目protocol buffers 管理学习

摘要： parca 是基于pprof+ebpf 实现的持续profile 工具，开发基于golang，使用了不少protocol buffers 比如协议定义rpc 服务契约等,以下是一些整理学习 protocol buffers 版本以及依赖管理工具 protocol buffers 是很不错，但是版本管阅读全文

posted @ 2022-09-16 11:55 荣锋亮阅读(126) 评论(0) 推荐(0)

导航

公告