荣锋亮 - 博客园

grafana agent 动态配置内部机制简单说明

摘要： grafana agent 动态配置目前属于一个体验特性，但是设计上利用了gomplate 一个强大的模版引擎工具参考配置运行配置参考 agentv2: image: grafana/agent:main ports: - 12345:12345 - 12347:12347 entrypoint 阅读全文

posted @ 2022-11-08 21:49 荣锋亮阅读(629) 评论(0) 推荐(0)

minio 一些配置策略

摘要：整理一些策略，方便使用参考配置获取删除上传下载 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetObject", "s3:PutOb 阅读全文

posted @ 2022-11-08 18:38 荣锋亮阅读(679) 评论(0) 推荐(1)

minio policy 使用

摘要： minio 参考aws s3 实现了用户的iam 访问控制，使用体验是一致的，而且比较方便，比如我们创建了一个用户或者组之后就需要进行权限创建分配环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio port 阅读全文

posted @ 2022-11-08 18:36 荣锋亮阅读(1087) 评论(0) 推荐(0)

grafana agent 配置支持faro-web-sdk试用

摘要： faro-web-sdk对于grafana 周边的使用属于一个all-in-one 模式的，都是通过grafana agent 进行转发处理的参考架构实际玩法实际上并不是需要grafan cloud，实际上基于grafana agent 就可以了参考配置核心是利用了grafana agen 阅读全文

posted @ 2022-11-07 23:09 荣锋亮阅读(666) 评论(0) 推荐(0)

grafana agent metrics 集成victoriametrics 试用

摘要：以下是grafana agent metrics 集成victoriametrics 的一个简单试用，主要是metrics 的，对于log 以及trace 的后边会介绍环境准备 docker-compose 文件 version: "3" services: postgres: image: po 阅读全文

posted @ 2022-11-07 13:28 荣锋亮阅读(439) 评论(0) 推荐(0)

dragonfly 兼容redis 以及memcached 的替代工具

摘要： dragonfly 是兼容redis 以及memcached 的替代工具，性能很强悍，基于c 编写，支持多线程，同时武共享的架构说明目前dragonfly 提供了社区版以及企业版，社区版不支持集群、复制、以及s3 快照，对于如果单机够用，或者只做为共享模式使用的服务还是一个很不错的选择，毕竟性能阅读全文

posted @ 2022-11-06 22:07 荣锋亮阅读(247) 评论(0) 推荐(0)

grafana agent metrics 使用简单使用

摘要： grafana agent 的能力还是比较强大的，支持log，metrics，trace，以下简单说明下简单模式只包含了metrics，不包含集成模式核心点是metrics 配置，包含了remote write 以及静态或者动态配置（比喻基于文件的服务发现以及基于k8s 的服务发现） serv 阅读全文

posted @ 2022-11-06 21:53 荣锋亮阅读(1017) 评论(0) 推荐(0)

基于grafana agent+ vmagent+VictoriaMetrics + Nightingale 监控报警平台简单构建

摘要：个人比较喜欢VictoriaMetrics的轻量以及简单，监管grafana 也提供了mimir 的prometheus 存储解决方案，但是比较费事以下方案，同时集成了vmagent 以及grafana agent ，vmagent 的好处是可以将pull 模式转变为push 模式同时轻量简单，可以阅读全文

posted @ 2022-11-06 20:40 荣锋亮阅读(558) 评论(0) 推荐(0)

grafana jpprof jdk 8 支持探索

摘要：问题运行问题 java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer; at jpprof.one.jfr.JfrReader.<init>(JfrReader.java:80) ~[jpprof-0. 阅读全文

posted @ 2022-11-04 17:54 荣锋亮阅读(103) 评论(0) 推荐(0)

grafana phlare 试用

摘要：主要是简单试用下grafana phlare 环境准备 docker-compose 文件 version: '3' services: phlare: image: grafana/phlare:latest ports: - "4100:4100" command: -config.file=/ 阅读全文

posted @ 2022-11-04 17:53 荣锋亮阅读(334) 评论(0) 推荐(0)

grafana jpprof 使用的一些问题

摘要：容器运行版本问题如下图可以看出使用的也是基于libasyncProfiler 所以容器运行环境本地比较重要，parca java 解决方案也是使用了类似的技术（alpine 镜像就比较费事了，推荐使用其他java 技基础镜像，比如 amazoncorretto:11.0.17）容器运行cap能阅读全文

posted @ 2022-11-04 17:51 荣锋亮阅读(73) 评论(0) 推荐(0)

cube.js 支持views 模式

摘要： views 类似db 的view ，可以将多个cube 进行组合，可以从一下参考图看出来功能参考图说明 cube views是一个很不错的新功能，很值得使用，实际上以前cube 有一个context 目前来看你们没啥用了，官方博客的介绍很值得使用参考资料 https://cube.dev/bl 阅读全文

posted @ 2022-11-04 11:31 荣锋亮阅读(85) 评论(0) 推荐(0)

grafana jpprof 试用

摘要： grafana jpprof 是为了方便grafana phlare 对于java 语言支持开发的一个包，可以让java 语言方便的自持pprof 格式的内容，进行持续性能优化以下是一个简单的试用环境准备 pom 文件 <?xml version="1.0" encoding="UTF-8"?> 阅读全文

posted @ 2022-11-04 11:30 荣锋亮阅读(163) 评论(0) 推荐(0)

grafana phlare 开源持续优化平台

摘要：对于持续优化我以前介绍过几个开源工具，目前grafana 也开源了一个自己的，还是很不错的参考架构支持的语言目前支持java，golang，rust，python 说明 parca 也是一个不错的工具，但是目前来说似乎木有grafana phlare 的强大，但是如果利用了grafana ja 阅读全文

posted @ 2022-11-04 09:57 荣锋亮阅读(161) 评论(0) 推荐(0)

grafana faro-web-sdk web 可观测性sdk

摘要：最近grafan 大会开源了不少好东西，faro-web-sdk 就是一个很不错的前端监控方案参考架构说明 phlare 也是grafana 开源的一些持续profle 的一个方便工具，faro-web-sdk 可以实现log，metrics 以及exception 管理，目前不同处理基于了gr 阅读全文

posted @ 2022-11-04 09:14 荣锋亮阅读(313) 评论(0) 推荐(0)

arrow flight-sql-jdbc-driver 提供了

摘要：就是最近apache arrow 提供了flight sql jdbc driver，但是目前还没有发布，从功能上还是比较期待的，内部实现了是基于了calcite 的子项目avatica 开发的，代码量并不是很大，可以学习下，以后对于dremio 的链接我们就多了一种选择了，实际上dremio 的j 阅读全文

posted @ 2022-11-03 09:33 荣锋亮阅读(255) 评论(0) 推荐(0)

docker-compose 一些有用的新功能

摘要： docker-compose 可以方便我们进行多容器环境的管理，通过也提供了一些比较有意思的功能，比如extends，以及profiles extends 的场景比如我们需要使用一些模版进行服务的扩展，就可以使用次能力，模版是独立的docker-compose 文件定义格式，我们可以使用对于的某一阅读全文

posted @ 2022-11-02 20:52 荣锋亮阅读(620) 评论(0) 推荐(0)

backstage 面向开发者门户框架再次简单试用

摘要：很早以前我试用过backstage，同时写过简单的介绍，随着目前backstage 越来越强大，而且进入了linux 基金会，同时还是cncf 孵化项目对于backstage需要重新深入学习研究下了，以下只是简单的运行参考使用初始化项目官方提供了cli 脚手架工具，很方便按照提示操作就行阅读全文

posted @ 2022-11-01 22:51 荣锋亮阅读(296) 评论(0) 推荐(0)

graylog 索引数据查询处理简单说明

摘要：参考请求地址从ui 看到的,类似一个job 的执行,支持异步以及同步数据查询处理，还包含了相对时间、绝对时间查询的 /api/views/search/<id>/execute /api/views/search /api/views/search/metadata 查询适配参考实现主要是对于阅读全文

posted @ 2022-11-01 19:57 荣锋亮阅读(434) 评论(0) 推荐(0)

新版本nexus minio 集成测试

摘要：主要是nexus 变化比较大了，刚好学习下，看看新版本对于minio 的支持情况了（依然支持），测试的版本是3.42 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9002:9000 阅读全文

posted @ 2022-11-01 19:55 荣锋亮阅读(516) 评论(0) 推荐(0)

graylog 索引模版处理

摘要： graylog 默认分词只支持对应几个固定的字段，如果需要自定义索引信息，就可以使用模版能力，默认包含了一个graylog-internal，order 为-1 但是我们可以扩展默认索引信息查询信息 GET <endpoint>/_template/graylog-internal?pretty 阅读全文

posted @ 2022-10-31 20:15 荣锋亮阅读(299) 评论(0) 推荐(0)

asyncapi event-gateway

摘要：支持的功能消息验证消息操作消息聚合消息过滤验证节流路由监控（包括追踪）参考架构说明目前来说官方的似乎还只支持基于kafka 的处理，当前基于事件消息模式玩法的系统集成是越来越多了，传统的http 以及tcp gateway 以及解决类似问题了实际上微软的dapr 是一个很不错的阅读全文

posted @ 2022-10-30 22:56 荣锋亮阅读(95) 评论(0) 推荐(0)

使用haproxy 代理minio

摘要：主要是测试下基于haproxy 代理minio ，比较简单环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment 阅读全文

posted @ 2022-10-30 19:25 荣锋亮阅读(674) 评论(0) 推荐(0)

dremio 23 版本 udf 可以使用了

摘要：参考使用创建函数使用参考提示查询就可以了说明以前我简单写过关于udf 的，实际上以前版本就是有问题的，dremio 23.1 版本是可以直接使用的参考资料 https://www.dremio.com/blog/announcing-scalar-user-defined-functio 阅读全文

posted @ 2022-10-29 21:47 荣锋亮阅读(46) 评论(0) 推荐(0)

dremio map 数据查询

摘要：官方提供了具体的操作说明，可以很好的体验dremio 对于map 的使用，内容来自官方文档数据生成使用pyarrow import pyarrow as pa import pyarrow.parquet as pq description = ["Dictionary", "Dress", " 阅读全文

posted @ 2022-10-27 18:48 荣锋亮阅读(58) 评论(0) 推荐(0)

apache iceberg 1.0 发布

摘要：实际上1.0 发布了，就代表iceberg api 已经比较稳定了，dremio 是比较依赖iceberg （可以说是核心部分基本强依赖了iceberg 了）dremio 官方写了不少关于iceberg 的资料，很值得学习说明目前dremio 一直是紧跟iceberg的步伐，比如dremio 阅读全文

posted @ 2022-10-27 17:10 荣锋亮阅读(333) 评论(0) 推荐(0)

使用nginx limit_except 保护暴露外网的minio 服务

摘要： minio 做为比较热门的开源s3 服务，受到好多团队的青睐，使用率还是比较高的，如果我们的服务是部署在内网的还好一般不用太担忧安全问题（但是也得做好内网的安全防护），但是如果直接将s3 服务暴露到公网问题就比较多了，解决方法很多，比如使用waf，自己配置一些安全策略，以下是基于nginx li 阅读全文

posted @ 2022-10-26 21:42 荣锋亮阅读(1418) 评论(0) 推荐(0)

minio 对象存储部署一些说明

摘要：一个minio 简单部署使用说明，以前写过一些简单的，主要扩展下，对于优化相关的具体可以参考官方的以及linux 相关优化的文章参考部署可靠性玩法可以开启多版本开启复制（可以是跨站点，跨minio 集群，以及bucket）禁用console （MINIO_BROWSER=off），如果需要阅读全文

posted @ 2022-10-26 20:34 荣锋亮阅读(575) 评论(0) 推荐(0)

使用 oceanbase做为xxljob 以及nacos 的mysql存储

摘要：如果我们的xxljob 以及nacos 集群比较多，同时需要提供ha 以及灵活的mysql 管理能力，基于tidb 以及oceanbase 是一个不错的选择 oceanbase 多租户能力上是比较方便的，可以更好的提供服务能力，以下是一个简单的示例，实际使用我们李勇多租户能力进行扩展下同时提供好h 阅读全文

posted @ 2022-10-25 23:26 荣锋亮阅读(742) 评论(0) 推荐(0)

dremio parquet zstd 压缩支持docker 镜像

摘要：为了方便测试测试，我构建了一个docker 镜像镜像 Dockerfile FROM dremio/dremio-oss:23.0.1 USER root COPY dremio.conf /opt/dremio/conf/dremio.conf COPY --from=hengyunabc/ar 阅读全文

posted @ 2022-10-24 23:11 荣锋亮阅读(102) 评论(0) 推荐(0)

dremio parquet zstd 压缩支持尝试

摘要：主要是dremio parquet zstd 压缩支持尝试，说明下思路，大家可以参考修改 ExecConstants 配置 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java EnumeratedStringValidator 阅读全文

posted @ 2022-10-24 21:44 荣锋亮阅读(190) 评论(0) 推荐(0)

通过dremio git 提交学习dremio 插件开发以及测试

摘要：主要是一个简单的说明，我们可以通过源码以及git 提交学习一些不错的关于dremio 开发相关的东西一个参考插的开发如下图插件开发从上图可以看出核心就是config以及存储插件，以及相关的配置，还有插件加载的配置（类扫描）插件测试此测试类比较有意义，很多时间大家不爱测试，碰到问题就比较难阅读全文

posted @ 2022-10-23 22:21 荣锋亮阅读(60) 评论(0) 推荐(0)

snowplow 的data creation理论

摘要： snowplow 一家数据分析工具，同时也提供了基于开源的 data creation 方案 data creation 与传统模式的对比 snowplow 参考开源方案架构玩法 pipeline 方案说明 snowplow 基于开源的数据分析方案还是很值得学习参考的参考资料 https:// 阅读全文

posted @ 2022-10-23 22:02 荣锋亮阅读(218) 评论(0) 推荐(0)

dremio 23 版本的试用简单说明

摘要：官方已经提供了相关的23版本的docker 镜像了，体验了下，总的来说ui 变化与22 相比没有多少，同时说是有一个query profile 的新界面但是没有看到，LISTAGG 是已经支持了（类似group_concat，从实现上并没有使用类似dremio 自定义聚合函数的格式，反而是基于cal 阅读全文

posted @ 2022-10-22 22:06 荣锋亮阅读(56) 评论(0) 推荐(0)

dremio 21 版本之后反射No File System scheme matches 问题解决

摘要：实际属于一个老问题了，整理下，方便使用，主要是我们在使用反射的时候碰到的问题问题如下 UnknownFormatConversionException: Conversion = 'Unknown format (pdfs) conversion for path /xxxxxx.avro Err 阅读全文

posted @ 2022-10-22 19:24 荣锋亮阅读(102) 评论(0) 推荐(0)

dremio 23 s3 插件默认ssl 配置问题

摘要：问题描述如下图操作一般我们会按照（注意需要开启s3 兼容模式），以上问题说明是依赖ssl，但是我们已经声明了不使用ssl 或者endpoint 带上http 如下,数据桶可以显示，但是会有如下的问题原因仔细看了下实际上是默认dremio 23 版本s3 使用了加密协议，但是我们的minio 阅读全文

posted @ 2022-10-22 18:58 荣锋亮阅读(47) 评论(0) 推荐(0)

dremio 23 版本docker 镜像jdk 说明

摘要：实际上dremio 官方在23版本的relase note 中已经说明了关于jdk 的处理，在看了最新docker 镜像也可以印证此说明参考处理 22 版本的 23 版本的说明目前已经有不少开源软件以及响应社区号召进行openjdk 基础镜像的调整了，我们也得跟进了参考资料 https:// 阅读全文

posted @ 2022-10-22 16:51 荣锋亮阅读(122) 评论(0) 推荐(0)

dremio 23 社区版发布提供了

摘要：目前dremio 23 社区版本源码已经开放了同时也提供了docker 镜像以及二进制文件，大家可以试用了参考资料 https://download.dremio.com/https://github.com/dremio/dremio-oss 阅读全文

posted @ 2022-10-22 16:14 荣锋亮阅读(50) 评论(0) 推荐(0)

dremio 官方 dbt 扩展

摘要：又一个不错的消息是dremio 官方支持dbt 了，以前是由社区开发的，现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力，可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档参考资料 https://github.com/dremio/dbt-dre 阅读全文

posted @ 2022-10-22 16:07 荣锋亮阅读(64) 评论(0) 推荐(0)

minio gateway nas 参考配置

摘要：主要记录下运行说明参考命令 /usr/local/bin/minio gateway nas --help NAME: minio gateway nas - Network-attached storage (NAS) USAGE: minio gateway nas [FLAGS] PATH 阅读全文

posted @ 2022-10-22 01:08 荣锋亮阅读(972) 评论(0) 推荐(0)

导航

公告