荣锋亮 - 博客园

cratedb 4.8 新特性

摘要： cratedb 4.8 的新特性不少，比较吸引人的就是支持了逻辑复制了逻辑复制可以将全部，或者部分数据同步到其他的cratedb 集群中，适合的场景，中心报表，中心存储，这个功能是很不错的 copy from/to 增强这个提供了不少特性，包含了从s3 拷贝数据，csv 格式解析参考资料 h 阅读全文

posted @ 2022-05-20 09:18 荣锋亮阅读(111) 评论(0) 推荐(0)

一次k8s 数据卷异常问题的解决

摘要： k8s 持久卷的问题实际上问题还是不少的，但是总的趋势的会越来越好的，以下记录一个自己处理的问题## 现象k8s 数据卷异常了，容器在启动的时候，k8s 会包装存储一致性检查以及正确的挂载碰到的问题multiply-claimed block(s), shared with 3 file(s)造成挂阅读全文

posted @ 2022-05-19 23:29 荣锋亮阅读(296) 评论(0) 推荐(0)

openresty 1.21.4 发布了

摘要：就在昨天（5.17 ） openresty 发布了1.21.4 版本,按照标准openresty 1.21.4 是基于nginx 的1.21.4 版本开发的说明目前nginx 1.21.5 开始，使用pcre2了，所以后续版本openresty 会有比较大的影响，同时对于以前好多基于pcre的阅读全文

posted @ 2022-05-18 20:27 荣锋亮阅读(526) 评论(0) 推荐(0)

nginx ngx_http_realip 的功能以及使用

摘要：网上关于ngx_http_realip 使用介绍的基本都是一个老生长谈的问题了，对于多级代理配置的这个就是一个常用的解决用户真实ip的方法，以下是使用的一个简单说明 ngx_http_realip 简单说明 ngx_http_realip 是一个获取用户请求真实ip 的一个模块，可以在多代理链路场阅读全文

posted @ 2022-05-17 12:49 荣锋亮阅读(447) 评论(0) 推荐(0)

nodejs 几个方便的打包工具

摘要： vercel 提供了好几个方便的nodejs 打包工具，pkg 以及ncc pkg 使用场景 pkg 可以保证nodejs 可以直接打包到一个二进制文件中，我们可以直接运行就不直接依赖外部nodejs了 ncc 使用场景 ncc 可以将nodejs 应用打包为一个单一文件，好处很明显，就是我们不需要阅读全文

posted @ 2022-05-16 12:42 荣锋亮阅读(4726) 评论(0) 推荐(0)

graylog 新组件 forwarder

摘要： graylog forwarder 属于graylog 的一个新组件了，可以实现发送日志到graylog cloud 或者按需部署的graylog 环境参考架构安全 graylog forwarder 是基于tls 保证安全的安装方法与graylog 类似，同时提供了软件包以及容器模式说明阅读全文

posted @ 2022-05-16 09:15 荣锋亮阅读(166) 评论(0) 推荐(0)

act 的密钥&&环境变量管理

摘要：原生的github actions 密钥管理是很强大的，act 也提供了，只是相对简单一些，支持基于环境变量以及文件模式约定 act -s MY_SECRET=key 使用 key 替换 act -s MY_SECRET 使用环境变量 act --secret-file my.secrets 通过阅读全文

posted @ 2022-05-15 22:40 荣锋亮阅读(147) 评论(0) 推荐(0)

act 提供的docker 镜像说明

摘要： act 是基于docker 实现了github actions 的本地运行，当然我们直接运行是需要使用docker 镜像的，了解 act内部提供的docker 镜像有助于更好的熟悉内部机制以及更好的使用一些说明镜像构建是基于了buildpacj-deps node镜像说明 node 是基于了de 阅读全文

posted @ 2022-05-15 19:13 荣锋亮阅读(341) 评论(0) 推荐(0)

act github actions 本地运行试用

摘要：安装使用mac 系统安装 brew install act 创建项目项目结构 ├── .github │ └── workflows │ └── app.yaml ├── package.json ├── src │ └── app.ts ├── tsconfig.json └── yarn.l 阅读全文

posted @ 2022-05-15 01:36 荣锋亮阅读(750) 评论(0) 推荐(0)

act 本地运行github actions 工具

摘要： github actions 是一个很不错的ci/cd 能力，我们可以使用github 提供的免费能力，自动化我们软件的构建，测试，以及发布但是默认github actions 是需要云端资源的，很多时候我们是需要本地运行的act 就是一个可以让我们本地运行github actions的工具本地运阅读全文

posted @ 2022-05-15 01:04 荣锋亮阅读(567) 评论(0) 推荐(0)

whichjdk 帮助选择合适的jdk 版本

摘要： whichjdk 实际上属于一个说明，包含了一些指南，方便我们选择合适的jdk，协助规避一些安全风险，同时包含一些特性说明，对于懒人来说是一个值得参考的项目参考资料 https://github.com/whichjdk/whichjdk.com 阅读全文

posted @ 2022-05-14 23:25 荣锋亮阅读(73) 评论(0) 推荐(0)

使用api-extractor 开发typescript 项目

摘要： api-extractor 是微软提供的一个强大的工程化typescript 项目开发工具，可以标准化我们的开发支持的功能 api 报告，可以生成markdown 文档统一.d.ts 文件（合并一起，使用更加方便） api 文档，生成项目的api 文档集成玩法说明对于开发typescrip 阅读全文

posted @ 2022-05-14 10:37 荣锋亮阅读(705) 评论(0) 推荐(0)

citus vs greenplum 对比参考

摘要：主要引用了一篇别人写的文档，但是此文时间比较早了，因为这几年citus 提升是很大的，当然greenplum 也在提升后边可以自己压测下，同时自己在测试了citus 11.0 对于百万级别的表与千万级别的表join 聚合，可以实现很开的处理（400ms）原生pg 需要4s 左右（目前表没有主键以及阅读全文

posted @ 2022-05-10 20:11 荣锋亮阅读(1063) 评论(0) 推荐(0)

使用citus 列式存储压缩数据

摘要：实际上是一个实际问题，刚好结合问题说明下问题的一种解决方法问题注意是基于容器运行的异常 ERROR: could not resize shared memory segment "/PostgreSQL.1345396376" to 4194304 bytes: No space left 阅读全文

posted @ 2022-05-10 20:00 荣锋亮阅读(394) 评论(0) 推荐(0)

citus 以及timescaledb对于时许数据存储的处理

摘要：从专业程度来说timescaledb 处理时许数据更加方便强大,citus 可以基于pg的分区可以很好的支持时许数据处理 citus 操作流程一般是创建分区表参考 CREATE TABLE github_events ( event_id bigint, event_type text, eve 阅读全文

posted @ 2022-05-10 18:54 荣锋亮阅读(600) 评论(0) 推荐(0)

citus ha 参考部署方案

摘要：参考图注意此版本比较适合citus 11.0 以及以上的（但是11.0 暂时还没ga）集成说明因为citus 的coordinator、worker 都支持基于流式复制的，我们基于patroni 保证节点的高可用（推荐使用同步复制），为了规避业务使用的问题，我们可以基于haproxy + ke 阅读全文

posted @ 2022-05-08 22:23 荣锋亮阅读(237) 评论(0) 推荐(0)

citus 一些不错的资料

摘要：来自官方博客一些很不错的资料，很值得学习参考说明好久没太关注citus 了，通过查看这些内容，了解了不少citus开源的新特性，很值得使用参考资料 https://www.citusdata.com/blog/2022/03/12/how-to-benchmark-performance-of 阅读全文

posted @ 2022-05-08 20:31 荣锋亮阅读(108) 评论(0) 推荐(0)

关于 citus ha 的一些说明

摘要： citus 是一个很不错的pg 集群方案，支持数据分片，多租户特性，11.0 之后支持schema 以及元数据的自动同步，更加方便了 citus ha 需要关注的东西 woker 节点可以使用流式复制协调节点可以视同流式同步复制,当然也可以基于灾备工具的，因为元数据变动比较小，在11.0 之后阅读全文

posted @ 2022-05-08 20:03 荣锋亮阅读(110) 评论(0) 推荐(0)

citus 11.0 beta 发布

摘要： citus 11.0 beta 包含了一个特别强大的特性，就是schema 以及元数据自动同步，可以让我们维护集群更加简单了新玩法 11.0 之前的问题很明显，协调节点会成为系统的瓶颈点 11.0 以及之后的基于同步机制我们就可以更好的进行系统负载处理了 11.0 的负载均衡包含了基于npg 阅读全文

posted @ 2022-05-08 19:38 荣锋亮阅读(78) 评论(0) 推荐(0)

localstack terraform 的支持

摘要： terraform 是一个强大的基础设施几代码工具，很强大，localstack 包装了terraform，让我们可以很好的体验terraform 集成aws 强大的能力环境准备安装terraform-local pip install terraform-local 使用初始化 tfloca 阅读全文

posted @ 2022-05-08 11:27 荣锋亮阅读(71) 评论(0) 推荐(0)

localstack 应用架构

摘要：以前简单说明了localstack的运行架构，以下简单说明下应用架构，可以方便开发参考图说明：从以上图可以看出proxu 是一个比较重要的角色，包含了边缘处理以及内部处理,localstack 依赖了moto 对于aws 服务的mock 操作参考资料 https://docs.localsta 阅读全文

posted @ 2022-05-08 11:08 荣锋亮阅读(75) 评论(0) 推荐(0)

localstack 运行参考架构

摘要：内容来自官方文档，并不是很完整，这是整体的效果，对于详细的推荐阅读源码参考图持久数据参考设计这个比较有意思，官方区分了社区本以及企业版，社区版特别简单，企业版比较有意思参考图对于DynamoDB 使用了sqlite 数据库，Kinesis序列化为json，其他的序列化为pickle 文件参阅读全文

posted @ 2022-05-08 10:56 荣锋亮阅读(99) 评论(0) 推荐(0)

localstack 的域名访问机制简单说明

摘要：目前是通过猜测的，详细的如果官方文档有介绍会补充完善参考图 dns 解析处理说明 localstack 本地访问还是比较有意思的，提供了一个dns，实现了类似xip 的解析处理，远端的管理通过本地api 可以直接管理本地运行的localstack 服务参考资料 https://docs.loc 阅读全文

posted @ 2022-05-07 22:32 荣锋亮阅读(83) 评论(0) 推荐(0)

localstack 试用

摘要：以前大概介绍过localstack，以下是关于localstack的试用## 环境准备 python3 以及docker,localstack 基于python 开发，使用docker 运行，镜像不小，推荐先下载 docker pull localstack/localstack:latest 安装阅读全文

posted @ 2022-05-07 21:48 荣锋亮阅读(861) 评论(0) 推荐(0)

localstack 强大的云服务环境模拟器

摘要： localstack 是基于python开发可以使用docker 运行aws 云环境模拟器，支持的服务不少，同时官方也提供了专业版以及企业版（基于订阅的）包含的特性高效、快速的基于本地环境运行开发以及测试不依赖云基础设施参考玩法此图来自官方文档，可以很好的说明localstack提供的能力阅读全文

posted @ 2022-05-07 19:43 荣锋亮阅读(306) 评论(0) 推荐(0)

使用glowroot apm分析dremio 调用

摘要：我以前介绍过关于使用jprofiler（商业软件的）调用分析jprofiler 是比较强大的一个工具，对于简单来说 glowroot 也是可行的（opentelemetry 也是一个好选择），以下是关于dremio 集成glowroot的一个简单说明环境准备基于docker-compose 运阅读全文

posted @ 2022-05-07 16:47 荣锋亮阅读(486) 评论(0) 推荐(0)

glowroot java apm 试用

摘要：一个简单的demo，包含了http 请求以及sql 操作 spring boot java 应用代码很简单，推荐查看github glowroot-spring-boot-demo 运行这个比较核心，主要是基于docker 运行 Dockerfile FROM openjdk:11.0.14.1 阅读全文

posted @ 2022-05-06 21:13 荣锋亮阅读(553) 评论(0) 推荐(0)

glowroot java 简单的轻量的apm 工具

摘要： glowroot 是java 开源apm，支持嵌入模式以及独立模式支持的特性慢查询，异常持续捕捉响应时间图服务调用捕捉以及聚合火焰图配置报警历史分析 sql 捕捉异步以及多线程处理可选中心colletor' 说明如果为了简单可以使用下使用简单，功能强大，但是从业界标准来说基于o 阅读全文

posted @ 2022-05-06 20:54 荣锋亮阅读(940) 评论(0) 推荐(0)

dremio 分布式存储以及云存储缓存简单说明

摘要：实际上以前我也简单介绍过，以下主要是对于这些有一些整体的介绍分布式存储 paths.dist 配置属性，包含了加速，表，job 结果，上传以及下载的数据，支持包含了共享存储（nas，hdfs，以及对象存储）对于对象存储实际上还是hdfs，只是处理上配置不一样 paths: { ... dist: 阅读全文

posted @ 2022-05-06 14:17 荣锋亮阅读(423) 评论(0) 推荐(0)

dremio 21 其他一些新特性

摘要：此次发布，bug 修复不少，主要说明一些新特性新特性 arrow flight sql 支持公共子表达式排除（主要实现了复用）原生向量copy 还是性能提升的 CTAS 支持iceberg 存储格式（目前测试有问题，可能是需要使用分布式存储配置，确定之后补充）说明官方的发布是没有直接区分社阅读全文

posted @ 2022-05-06 13:00 荣锋亮阅读(69) 评论(0) 推荐(0)

dremio 21 pdfs 不在支持

摘要：个人猜测，应该是不利于后续的加速优化以及对于Iceberg 特性的支持参考配置配置来自helm paths: { # Local path for dremio to store data. local: ${DREMIO_HOME}"/data" # Distributed path Drem 阅读全文

posted @ 2022-05-06 12:52 荣锋亮阅读(74) 评论(0) 推荐(0)

dremio 21 CTAS 数据分片的变动

摘要： CTAS 对于数据分片的变动是一个比较大的影响，尤其是已经使用过了数据分片的说明实际上经过测试似乎是兼容的，也有可能是我的20版本与21 版本差异的问题，或者dremio 实际存储的问题，或者就是问文件夹层级比较多的时候官方的发布的文档对于此介绍个人感觉比较难懂，而且经过测试效果并不是这样的参阅读全文

posted @ 2022-05-06 12:03 荣锋亮阅读(39) 评论(0) 推荐(0)

minio Error: Storage resources are insufficient for the read operation 问题参考解决

摘要：今天在重启一个minio 服务的时候发现这个异常信息，实际上此问题并不是什么大事，主要分为以下场景初始化的时候初始化的时候最好查看自己的配置，以及存储类型时候有问题已经运行了对于已经运行的实际上不会有太大问题的，因为minio的纠删码机制还是很可靠的，只要在官方要求的配置下一般是不会出现问题阅读全文

posted @ 2022-05-06 10:43 荣锋亮阅读(4965) 评论(0) 推荐(0)

graalvm typescript types 编写定义参考说明

摘要：以下只是一个简单的学习，大家可以参考，然后基于此扩展案例说明就是一个简单的java.math.BigInteger 定义参考定义 package.json { "name": "@dalongrong/graalvm-type-learning", "version": "1.0.0", "m 阅读全文

posted @ 2022-05-05 21:54 荣锋亮阅读(206) 评论(0) 推荐(0)

iasql-engine 基础设施即数据

摘要： iasql-engine 是基于pg 的基础设施即数据来自官方的一张图这张图比较形象的说明了iasql-engine的功能说明 iasql-engine 的的理念很不错，目前只支持基于aws 的，也在计划支持其他云厂商的,代码基于了typescript orm 使用了typeorm 还是值得学阅读全文

posted @ 2022-05-05 00:21 荣锋亮阅读(43) 评论(0) 推荐(0)

基于s3的一种luarocks 私服多租户解决方案

摘要：参考图细节说明：我们基于s3 进行rock 的存储，对于不同用户（租户）的我们可以选择使用不同的s3 bucket，同时还会读取rock 的元数据信息，存放到数据库中（可以基于mongo 或者其他nosql 数据库）说明以上是一个简单的集成，对于api 部分，我们很多时候直接复用luarock 阅读全文

posted @ 2022-05-04 23:26 荣锋亮阅读(91) 评论(0) 推荐(0)

luarocks 私服搭建&简单使用

摘要： luarocks 私服实际上并不算难，核心还是文件，以及元数据，luarocks 提供了相关的命令可以支持参考处理需要先基于pack 构建文件，后然使用luarocks-admin 提供的命令生成元数据，对于静态内容的提供我们基于nginx 就可以了参考构建编写rocksspec packa 阅读全文

posted @ 2022-05-04 11:52 荣锋亮阅读(387) 评论(0) 推荐(0)

luarocks 简单使用&openresty 离线集成说明

摘要： luarocks支持的命令 luarocks --help Usage: luarocks [-h] [--version] [--dev] [--server <server>] [--only-server <server>] [--only-sources <url>] [--namespac 阅读全文

posted @ 2022-05-04 10:28 荣锋亮阅读(946) 评论(0) 推荐(0)

dremio 21.1 UI 新变动

摘要： dremio 21.1 最近几天已经发布了，ui 变动不少，使用更加专业了，以下是一个简单的说明支持script 保存参考下图，script 保存是一个比较方便的能力，以前我们很多时候都是基于vds 处理的，此时就很方便了如果能支持基于文件夹的管理就更加方便了函数功能界面调整老版本帮助函数很阅读全文

posted @ 2022-05-03 21:24 荣锋亮阅读(79) 评论(0) 推荐(0)

dremio 21 版本发布

摘要：就在两天前dremio 发布了21.1 版本，ui 以及功能上有不少提升（后续详细介绍），而且docker 镜像以及tar 包都提供了对于arrow sql 以及支持是一个很不错的功能（这个后边很值得说说）说明新版本如果使用的话，会发现一个直接的bug，就是对于创建的view （vds）可以保阅读全文

posted @ 2022-05-02 23:57 荣锋亮阅读(74) 评论(0) 推荐(0)

导航

公告