上一页 1 ··· 32 33 34 35 36 37 38 39 40 ··· 135 下一页

2023年2月22日

使用tmpfs 进行nginx proxy_cache 加速

摘要： 实际碰到的一个问题，使用的虚拟机，发现压测效果不是很好，静态资源请求有时都会存在问题（超时，加载比较慢） 但是因为实际没有太好的虚拟机存储可以挂载，同时请求的静态资源比较多（图片，css，js，小文件），tmpfs 是一个 基于内存的文件系统，可以很好的支持文件操作，同时可以提高nginx cach 阅读全文

posted @ 2023-02-22 23:40 荣锋亮 阅读(83) 评论(0) 推荐(0)

nodejs error:03000086:digital envelope routines::initialization error 问题

摘要： 今天碰到的一个node 应用构建问题，记录下 主要原因 还是node 调整了openssl 版本 解决方法 降级node 版本 降级到node 16 添加环境变量 export NODE_OPTIONS openssl-legacy-provider 参考资料 https://stackoverfl 阅读全文

posted @ 2023-02-22 23:25 荣锋亮 阅读(1429) 评论(0) 推荐(0)

2023年2月19日

tsup 简单快速的typescript库打包工具

摘要： tsup 是一个很不错的工具，可以方便的进行typescript 应用打包以及构建，支持了灵活的资源加载处理 tsx 也是一个不错的工具，可以进行dev 模式的处理 tsup 参考配置 tsup.config.js import { defineConfig } from 'tsup' export 阅读全文

posted @ 2023-02-19 12:53 荣锋亮 阅读(775) 评论(0) 推荐(0)

pgspider v0.20 之后的一些变动

摘要： 很久没太关注pgspider ，发现v0.20 之后不像以前版本那样了（patch 模式），v0.20 之后 包含了自己的一个pg 分支，同时端口进行了一些调整（pgspider 自己的进程名称以及端口） 支持的特性 多租户 支持数据的修改 并行处理 pushdown 参考资料 https://gi 阅读全文

posted @ 2023-02-19 12:35 荣锋亮 阅读(38) 评论(0) 推荐(0)

pgspider 发布v0.3.0 了

摘要： 很久没太关注pgspid了，就在最近发布了v0.3.0 不少bug fix 新特性 支持pg 15.0 支持多租户表的修改 支持multi tenant 命令 添加性能评估函数 支持 join where美剧和以及order by limit offset 等的查询下推 说明 同时官方也对于开源的不 阅读全文

posted @ 2023-02-19 11:51 荣锋亮 阅读(58) 评论(0) 推荐(0)

2023年2月16日

juicefs 1.0.3 集成 oceanbase 4.0 测试

摘要： 以前我写过oceanbase ce 3.x 版本的，当时处理需要自己hack，目前测试的版本是juicefs 1.0.3 ，oceanbase ce 4.0 容器版 环境说明 oceanbase ce 4.0 基于docker-compose部署，juicefs 部署在linux 以及mac 机器中 阅读全文

posted @ 2023-02-16 19:42 荣锋亮 阅读(125) 评论(0) 推荐(0)

2023年2月14日

dremio 24 版本一个隐藏的Vacuum功能

摘要： dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理 功能开启 需要通过配置支持项处理 使用 官方支持的命令还是比较全的，只是目前官方文档暂时还是没写 整体的能力（通过测试方法看到的） 参考使用 dremio 内部处 阅读全文

posted @ 2023-02-14 12:56 荣锋亮 阅读(71) 评论(0) 推荐(0)

2023年2月13日

zoonavigator 基于web 的zookeeper 可视化管理工具

摘要： zoonavigator 是一个面向web 的zk 可视化工具管理，很方便，对于我们学习查看dremio 对于zk 的使用比较方便 比如执行节点，锁，数据源处理 运行 推荐基于docker docker run \ -d \ -p 9000:9000 \ -e HTTP_PORT=9000 \ -- 阅读全文

posted @ 2023-02-13 21:17 荣锋亮 阅读(597) 评论(0) 推荐(0)

2023年2月12日

dremio几个rel 术语名词简单说明

摘要： dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的 实际上是原始 apache calcite RelNode Drel 结尾的 是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy 阅读全文

posted @ 2023-02-12 21:30 荣锋亮 阅读(86) 评论(0) 推荐(0)

dremio24 版本copy into from 简单说明

摘要： copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式） 简单机制说明 目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect 阅读全文

posted @ 2023-02-12 20:04 荣锋亮 阅读(75) 评论(0) 推荐(0)

dremio 24 版本对于表优化的处理

摘要： dremio 24 版本开始支持表优化，主要是对于iceberg的表优化 机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大 参考图 额外的能力 支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展 一些限制 一次只能运行一个任务 当前不支持del 阅读全文

posted @ 2023-02-12 19:28 荣锋亮 阅读(78) 评论(0) 推荐(0)

2023年2月11日

flannel 低版本glog flag redefined error 问题解决

摘要： 最近在构建一个老版本的flannel的时候碰到了此问题，记录下，方便使用 解决方法 glide install --strip-vendor --strip-vcs 参考资料 https://stackoverflow.com/questions/37284423/glog-flag-redefin 阅读全文

posted @ 2023-02-11 23:12 荣锋亮 阅读(64) 评论(0) 推荐(0)

flannel vni 一些说明

摘要： flannel 不同版本配置部分代码的处理是不一样的，以下做一个简单的说明 概述 vni 主要是进行网络隔离的，只有相同vni 的网络可以通信 flannel 最新版本的配置处理比较清晰，老版本（目前测试的0.7.1）配置分散在多处 flannel 默认只能创建一个vni，而且默认是1 v0.7.1 阅读全文

posted @ 2023-02-11 23:07 荣锋亮 阅读(101) 评论(0) 推荐(0)

go: cannot find main module, but found glide.lock 问题解决

摘要： 解决方法 export GO111MODULE=auto 说明 此问题主要是老golang 项目构建可能会出现的，新的一般不对有此问题（都基于go mod 了） 参考资料 https://github.com/golang/go/issues/31997 阅读全文

posted @ 2023-02-11 22:56 荣锋亮 阅读(62) 评论(0) 推荐(0)

dremio 24 新特性简单说明

摘要： 新发布的dremio 24 版本包含了一些新特性，同时也一大部分是关于性能以及iceberg 支持的 新特性 表优化（iceberg） 回滚表（iceberg） copy into 强大快速的数据集成sql 能力（支持基于外部存储的数据倒入操作，可以解决不少输入进的问题） broadcast hin 阅读全文

posted @ 2023-02-11 22:54 荣锋亮 阅读(123) 评论(0) 推荐(0)

dremio 24 发布了

摘要： 就在几个小时之前dremio 24 发布了，有一些新功能以及变动，有不少不错的特性，同时源码以及社区版docker镜像官方也都已经提供了，可以参考试用 说明 大概看了介绍还是有不少特性值得学习研究的，后边详细介绍下 参考资料 https://github.com/dremio/dremio-oss/ 阅读全文

posted @ 2023-02-11 10:26 荣锋亮 阅读(55) 评论(0) 推荐(0)

2023年2月8日

dnSpy 强大的dotnet 调试以及反编译编辑器

摘要： dnSpy 强大的dotnet 调试以及反编译编辑器 支持的功能 调试.net 以及unity 应用 编辑.net 以及unity 应用 轻量级以及暗黑模式 反编译支持的能力 所有的元数据都可以编译 编辑方法以及类支持自动提示（真的很方便） 其他功能也是比较强大的 说明 dnSpy 是一个很不错的d 阅读全文

posted @ 2023-02-08 19:37 荣锋亮 阅读(266) 评论(0) 推荐(0)

2023年2月7日

支持配置版本的flannel 服务

摘要： 我已经介绍了一个修改版本的flannel （主要是0.7.1 版本的），当时是修改了一个固定版本，不方便 如果我们的节点需要运行更多的flannel 服务基于配置的就比较方便了 参考修改 核心是支持配置，通过配置解析以及进行参数传递 主要包含的文件main,go pkg/subnet/config. 阅读全文

posted @ 2023-02-07 22:33 荣锋亮 阅读(99) 评论(0) 推荐(0)

编译flannel 支持VNI 扩展

摘要： 实际上属于一个业务问题，有几个k8s 环境，有一个外部服务需要通过rpc 访问k8s 内部的服务，以前是通过 部署了与一个环境一样的flannel 服务，可以保证外部服务与k8s pod 是可以通的，但是现在需要与另外一套环境 的k8s pod 也可以通 参考图 问题 我们实际是希望可以在vm中可以 阅读全文

posted @ 2023-02-07 13:11 荣锋亮 阅读(45) 评论(0) 推荐(0)

2023年2月5日

dremio DacDaemonYarnApplication 简单说明

摘要： DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口 前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio 阅读全文

posted @ 2023-02-05 11:04 荣锋亮 阅读(40) 评论(0) 推荐(0)

apache twill 开发参考流程

摘要： 尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持 参考开发流程 TwillRunnable 接口 类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple 阅读全文

posted @ 2023-02-05 10:51 荣锋亮 阅读(67) 评论(0) 推荐(0)

2023年2月4日

tracetest 基于trace 生成端到端测试的框架

摘要： tracetest 是基于OpenTelemetry 工具，设计上还是很有意思的，可以使用此工具进行分布式系统的测试 支持的特性 可以直接使用现有的OpenTelemetry周边工具，包含了jaeger， 以及grafana tempo 支持多种测试，比如http，grpc，以及postman 的c 阅读全文

posted @ 2023-02-04 22:36 荣锋亮 阅读(214) 评论(0) 推荐(0)

dremio AppBundleRunner 简单说明

摘要： AppBundleRunner 的作用 运行通过AppBundleGenerator 生成的jar 加载上边jar 相关依赖到类加载器中 初始化实例，并调用main 方法 同时还包含运行实例的停止 参考处理说明 类加载处理 实际上是load 方法，通过解析jar 元数据信息，同时也会进行jar 的解 阅读全文

posted @ 2023-02-04 22:08 荣锋亮 阅读(42) 评论(0) 推荐(0)

dremio yarn 集成之 AppBundleGenerator 简单说明

摘要： AppBundleGenerator 的目的是方便yarn 应用的运行，dremio 自己开发了一个方便软件打包的服务，可以简化 参考处理 默认生成的jar 包名称dremio-bundle.jar public Path generateBundle() throws IOException { 阅读全文

posted @ 2023-02-04 21:20 荣锋亮 阅读(31) 评论(0) 推荐(0)

dremio 的 YarnDaemon 简单说明

摘要： YarnDaemon 与DremioDaemon 基本类似，都是启动dremio 服务，只是YarnDaemon 更多是关于执行器节点的运行模式与 DremioDaemon 差异比较大，DremioDaemon 就是一个long running 任务，但是YarnDaemon 实际上是一个由线程调度 阅读全文

posted @ 2023-02-04 13:08 荣锋亮 阅读(71) 评论(0) 推荐(0)

2023年2月1日

mtools mongo 日志分析的利器

摘要： mtools 是一个专门用来分析mongo 日志的工具基于python 编写，功能还是很强大的 包含的工具集 mlaunch 快速构建mongo 环境的工具，比较方便进行功能测试 mlogfilter 进行日志过滤的，很强大，支持的功能不少，几个比较有用的： 基于时间过滤，慢查询过滤，特定操作过滤， 阅读全文

posted @ 2023-02-01 21:20 荣锋亮 阅读(107) 评论(0) 推荐(0)

nginx agent 来自官方的nginx 配置管理&监控方案

摘要： 我以前介绍过使用git+api 模式的nginx 配置管理，同时还介绍过一个基于graylog 的日志收集方案，nginx agent 是nginx 官方提供的nginx 配置以及metrics 监控解决方案 包含的特性 配置管理 nginx 以及操作系统metrics收集 nginx 通知事件 g 阅读全文

posted @ 2023-02-01 20:45 荣锋亮 阅读(2105) 评论(0) 推荐(0)

2023年1月31日

dremio 23 版本反射问题最新说明

摘要： 此问题，官方已经确认是在进行反射替换的时候有问题，同时预计会在24 版本解决，但是目前暂时还没有发布（官方对于社区版的支持不是很好。。。。） 参考资料 https://community.dremio.com/t/dremio-23-not-match-any-reflections-with-mi 阅读全文

posted @ 2023-01-31 22:55 荣锋亮 阅读(42) 评论(0) 推荐(0)

dremio provision 模式功能简单说明

摘要： 目前此功能主要是支持yarn 等资源调度的，在dremio 系统中名称为弹性引擎 ProvisioningService 服务接口定义 参考类图 不同类型的实现 具体操作是由ProvisioningServiceDelegate定义进行操作的，并在dremio 启动的时候会包含相关服务能力的创建，因 阅读全文

posted @ 2023-01-31 22:51 荣锋亮 阅读(44) 评论(0) 推荐(0)

dremio provisioning 几种模式简单介绍

摘要： 主要是包含了基于云以及yarn 模式的部署 aws eks azure arm azure aks yarn 模式 标准集群模式 说明 以上集中模式包含了软件以及在云端部署的（与cloud 模式是不一样的），而且从dremio 目前的发展来说软件模式的基本不太推荐了，主要是cloud 模式了差异性还 阅读全文

posted @ 2023-01-31 21:17 荣锋亮 阅读(52) 评论(0) 推荐(0)

2023年1月30日

jd-gui mac 运行needs Java "1.8+" 问题

摘要： 说明此问题网上已经有不少解决方法了，主要是记录下，我运行出现问题的原因是因为升级了操作系统，同时调整sdkman 默认java 版本信息（以前调整java 版本信息也是木有问题的） 快速解决方法参考如下图 就是调整java 1.8+ 为 1.8 参考资料 https://github.com/jav 阅读全文

posted @ 2023-01-30 20:41 荣锋亮 阅读(162) 评论(0) 推荐(0)

2023年1月29日

dremio ioc 机制简单说明

摘要： dremio 对于服务的依赖管理以及处理没有直接使用google guice，而是dremio 自己包装了一个类似guice的ioc 能力 提供的能力说明 因为对于ioc 来说需要包含不同的几种服务注入模式（属性注入，构造函数注入），服务也会包含不同的scope （单例，实例，provider模式） 阅读全文

posted @ 2023-01-29 21:34 荣锋亮 阅读(46) 评论(0) 推荐(0)

2023年1月28日

通过DACModule 模块学习dremio 服务模块依赖关系之 bootstrap

摘要： 以前有简单介绍过dremio 的DACModule 模块，核心就是进行服务的启动以及依赖管理维护，接口实现了包含了bootstrap 以及build 区别在于bootstrap管理的是一些需要提前准备好的服务（比如协调服务，master 选举服务，还有就是一些引擎相关的，但是社区版没有实现） boo 阅读全文

posted @ 2023-01-28 20:49 荣锋亮 阅读(66) 评论(0) 推荐(0)

2023年1月27日

使用provisio-maven-plugin+ airlift launcher 开发类似trino 的运行包

摘要： 如果运行过trino 或者presto 会发现比较方便，配置放的特别清晰，而且包含了方便的cli 工具，实际上trino 或者presto 内部也是基于了 provisio-maven-plugin+ airlift launcher 进行软件包处理的 参考打包配置 参考项目可以与阅读trino 或 阅读全文

posted @ 2023-01-27 20:43 荣锋亮 阅读(241) 评论(0) 推荐(0)

airlift 简单试用

摘要： airlift 使用简单，而且周边集成也不少，只是官方文档比较少，使用最多的也是trino 以及presto 中，trino 代码基于airlift 框架的开发代码看起来是 很简洁的 项目结构 ├── README.md ├── app # 实际应用，使用airlift 开发的，包含了静态页面以及简 阅读全文

posted @ 2023-01-27 19:52 荣锋亮 阅读(499) 评论(0) 推荐(0)

2023年1月26日

airlift java rest 服务框架

摘要： airlift 是一个轻量，快速的java rest 服务开发框架，属于trino 的基础框架，airlift 集成了不少轻量的工具包同时包含了不少不错的实践（比如配置管理，组件生命周期管理，http 客户端，数据库链接池，http server，并行，日志，打包） 说明 如果需要开发一个快速的ja 阅读全文

posted @ 2023-01-26 20:33 荣锋亮 阅读(284) 评论(0) 推荐(0)

2023年1月25日

caddyserver 架构简单说明

摘要： 内容来自官方文档，通过了解可以更好的学习以及使用caddyserver 概述 caddy 包含了command，core library，以及modules，command 主要是关于cli 命令的core library 主要进行配置管理，可以Run() 以及Stop() 相关配置，同时也提供了一 阅读全文

posted @ 2023-01-25 15:17 荣锋亮 阅读(354) 评论(0) 推荐(0)

caddyserver 生产运行一种玩法实践

摘要： 实际上就是一个尝试，毕竟如果生产使用了caddyserver 做为一些核心业务只是需要做不少考虑的 参考图 备注：以上图是基于自建acme 服务处理的（比较适合内部服务），因为caddyserver 同时存储tls 配置以及基于api 的配置，所有对于单机部署模式有一些调整，后边介绍 集成说明 ac 阅读全文

posted @ 2023-01-25 14:25 荣锋亮 阅读(219) 评论(0) 推荐(0)

cube.js 一些变动

摘要： cube.js 整体的机制是没有调整的，但是目前从官方介绍可以看出，已经从以前的无头bi 调整为了语义层了，这个也说明了cube.js 在数据处理能力上更加强大了 一张参考图 说明 目前cube.js 支持的数据源，以及集成玩法也越来越多了，比如基于sql 层与大数据周边工具，基于graphql a 阅读全文

posted @ 2023-01-25 12:25 荣锋亮 阅读(303) 评论(0) 推荐(0)

caddyserver 几个有用的配置参数

摘要： 不是介绍caddyserver 的配置参数，核心是关于ssl 证书以及配置存储存储的几个参数 XDG_DATA_HOME 主要是关于caddyserver 基于acme 协议处理证书的，比较有用，可以更好的管理证书存储的位置 XDG_CONFIG_HOME 主要是关于基于api 配置的应用信息，当我 阅读全文

posted @ 2023-01-25 10:33 荣锋亮 阅读(134) 评论(0) 推荐(0)

上一页 1 ··· 32 33 34 35 36 37 38 39 40 ··· 135 下一页

导航