荣锋亮 - 博客园

download nodejs方便的文件下载提取包

摘要：如果大家有文件下载的场景，也包含带认证模式的，download 是一个很不错的工具包包含的特性可以指定下载目录（download 会自动创建文件夹，基于了make-p）文件提取（对于归档文件处理，基于了decompress）下载文件解析（可以基于Content-Disposition，确保文阅读全文

posted @ 2022-06-06 09:12 荣锋亮阅读(324) 评论(0) 推荐(0)

nchan 火焰图学习

摘要：主要是想学习下nchan nginx 模块的生命周期阶段函数，为了方便直接基于openresty+perf 搞了一个docker 镜像方便了解nchan 的阶段处理 docker 镜像构建具体参考github 文档， https://github.com/rongfengliang/openre 阅读全文

posted @ 2022-06-05 23:10 荣锋亮阅读(100) 评论(0) 推荐(0)

基于nchan 开发消息服务的一些核心知识点

摘要：以前简单说明下如何集成，在此说明下集成核心的指令，可以加速我们的集成参考集成模式此图以前简单介绍过核心: 基于redis 以及一些消息管理api，我们利用nchan 提供的auth 以及消息转发能力，对于消息进行处理，对于消息做一些扩展几个核心指令认证&安全因为部分处理属于长连接，连接是阅读全文

posted @ 2022-06-05 16:52 荣锋亮阅读(193) 评论(0) 推荐(0)

基于nchan 构建可靠的websocket 服务

摘要：以下只是简单的说明，细节上后边会详细从实践上说明参考图集成简单说明我们基于redis 保证消息的可靠，同时结合openresty 做一些扩展，利用nchan提供的auth 以及消息回调处理能力我们进行消息的处理，利用nchan 对于消息的处理能力我们只需要开发一些rest api 接口，消息核阅读全文

posted @ 2022-06-05 00:29 荣锋亮阅读(139) 评论(0) 推荐(0)

openresty 1.21.4 集成nchan 1.3.0

摘要：原计划是将nchan 构建为一个动态模块（centos 的）但是发现包含了一些gcc 的问题，所以就直接使用了容器构建（alpine）镜像直接复用了openresty官方的，添加了nchan模块，具体参考github，同时也包含了一个fat jar dalongrong/openresty:1. 阅读全文

posted @ 2022-06-04 18:13 荣锋亮阅读(221) 评论(0) 推荐(0)

haproxy 2.6 发布

摘要： haproxy 2.6 发布了，提供了不少特性，其中quic （http3）是可以直接使用了（注意依赖openssl 版本）我已经构建一个版本 http3 参考使用 docker 镜像 dalongrong/haproxy:2.6-debian-quic 使用可以直接参考官方示例 # # Exa 阅读全文

posted @ 2022-06-04 14:08 荣锋亮阅读(404) 评论(0) 推荐(0)

nodejs stream 背压处理学习

摘要：内容是nodejs 官方的，对于需要开发自己的stream 是很值得学习参考的参考资料 https://nodejs.org/en/docs/guides/backpressuring-in-streams/https://nodejs.org/docs/latest/api/stream.htm 阅读全文

posted @ 2022-06-04 00:14 荣锋亮阅读(56) 评论(0) 推荐(0)

nodejs 通过s3fs 处理文件

摘要： s3fs 是一个不错的nodejs fs s3 接口实现，我们基于此可以访问s3 文件，可以方便的简化文件存储参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文

posted @ 2022-06-03 22:27 荣锋亮阅读(114) 评论(0) 推荐(0)

nodejs 文件到s3的几种方法

摘要： s3 是一个很不错的文件存储以及管理系统，很多时候我们简化文件处理（比如大文件或者，需要同步处理的）参考使用参考图从工具以及代码层面简单说明工具上，我们可以直接将s3 暴露为一个普通的文件系统（一般都fuse）然后就可以按照标准的文件操作了，可以简单对于s3连接的处理，但是也是有缺点的就是阅读全文

posted @ 2022-06-03 19:06 荣锋亮阅读(535) 评论(0) 推荐(0)

top10 nginx 配置问题

摘要：内容来自官方文档，值得参考学习参考资料 https://www.nginx.com/blog/avoiding-top-10-nginx-configuration-mistakes/ 阅读全文

posted @ 2022-06-03 12:33 荣锋亮阅读(50) 评论(0) 推荐(0)

openresty sse 动态扩展处理

摘要： sse (server send events) 是一个单向的服务器消息推送方案，比较适合的业务场景是实时数据显示（而且sse 可以很好的支持数据的多播）参考图集成说明对于业务请求我们基于openresty 灵活的扩展能力，对于需要sse 服务的，我们可以按照租户或者业务系统或者单一订阅id进阅读全文

posted @ 2022-05-31 13:38 荣锋亮阅读(271) 评论(0) 推荐(0)

nginx 提供的MARA参考架构

摘要： MARA （Modern Apps Reference Architecture）是由nginx 提供的一个参考架构，值得参考使用参考图说明 nginx 提供的这套参考架构还是值得学习参考的参考资料 https://github.com/nginxinc/kic-reference-arch 阅读全文

posted @ 2022-05-31 13:12 荣锋亮阅读(144) 评论(0) 推荐(0)

openresty proxy sse 服务

摘要：实际上如果单纯的进行nginx sse 处理很简单，但是我们实际的场景存在数据访问控制以及数据处理对于此问题，我们可以使用sse client 包装，然后同时将我们的请求endpoint 暴露为一个sse 服务参考处理图代码说明 sse 服务基于nodejs 开发的一个测试，基于expres 阅读全文

posted @ 2022-05-31 00:47 荣锋亮阅读(367) 评论(0) 推荐(0)

dremio 的job 分析参考示例

摘要： dremio 官方专门提供了一个章节，讲解如何进行分析，一些是一个总结，以及学习预备下载profiles，以及上传到dremio 中（个人默认space中）因为profiles 默认是json 格式的，我们直接使用dremio 查询分析数据需要关注的内容: sql 查询：sql 查询是否符合预阅读全文

posted @ 2022-05-30 16:11 荣锋亮阅读(112) 评论(0) 推荐(0)

dremio 的job 分析

摘要： dremio 实际上对于sql 查询处理都是一个job，基于了自己的一套任务调度机制，很多时候我们也是需要进行job 分析的（执行中，以及执行完成的） job 概述 job 概述包含了job 查询类型，运行时间，开始时间，结束时间，用户以及jobid，同时还包含了数据量以及流量情况 job 详情 j 阅读全文

posted @ 2022-05-30 12:49 荣锋亮阅读(100) 评论(0) 推荐(0)

dremio 21.2 发布

摘要：这次版本的更新从官方文档看应该支持企业版的，但是发现社区版也是更新了，从介绍上bugfix 比较多,同时对于安全更新也不少更新 dremio-admin clean 支持对于老旧dataset 版本的清理（不在关联job 的），注意clean 需要挺服务操作 dremio-admin clean 阅读全文

posted @ 2022-05-30 11:26 荣锋亮阅读(88) 评论(0) 推荐(0)

msw 下一代api mock 服务

摘要： msw 是一个很不错的服务mock 工具包含的特新基于网络级别的拦截标准service worker api 支持rest api 以及graphq api 客户端执行原生ts 支持类似express 的语法说明官方提供了一个30s 的工作原理介绍视频很值得学习下参考资料 https 阅读全文

posted @ 2022-05-29 23:48 荣锋亮阅读(234) 评论(0) 推荐(0)

使用molecule 开发测试ansible roles

摘要： molecule 是ansible 社区提供的一个方便用来开发以及测试ansible roles 的工具包，基于此我们可以开发强健的ansible rolesmolecule 底层使用了galaxy，对于需要开发ansible roles 的此模块是很值得使用的，dev-sec 的ansible r 阅读全文

posted @ 2022-05-29 23:35 荣锋亮阅读(148) 评论(0) 推荐(0)

使用 testcontainer nginx +jest 集成测试njs 模块

摘要： jest 是一个很不错的js 测试框架，我们可以此方便的进行js 测试，基于testcontainer 我们可以使用容器方便的测试，以下是一个参考使用项目准备项目结构 ├── README.md ├── conf │ └── nginx.conf ├── dist │ └── main.js 阅读全文

posted @ 2022-05-29 22:36 荣锋亮阅读(184) 评论(0) 推荐(0)

nginx openresty 几个测试工具

摘要：参考图使用说明对于经常基于perl 开发的可以直接基于nginx 或者openresty 的nginx 测试工具，基于基于nodejs 的我们可以直接使用jirutka/nginx-testing （基于mocha）是一个不错的工具，因为现在jest 是一个很不错的js 测试套件，我们可以利用容阅读全文

posted @ 2022-05-29 17:11 荣锋亮阅读(176) 评论(0) 推荐(0)

rrun+juicefs 进行nodejs 模块的运行

摘要：参考图玩法说明我们使用ncc 将开发的node 应该直接all-in-one，同时暴露一个默认的npm （cmd ）实现，同时直接利用juicefs 的s3 endpoint 上传到s3 中，juicefs 会做为一个 sidecar 挂载到我们的rrun 运行时节点中（可以基于虚拟机，以及容器阅读全文

posted @ 2022-05-28 23:06 荣锋亮阅读(110) 评论(0) 推荐(0)

nginx njs npm hashids 模块使用

摘要：主要是将今天说到的工具做一个使用说明场景直接复用npm 的hashids 生成一个id，同时基于rollup 构建，对于缺少js 特性支持的基于core-js 进行polyfill 参考代码 fix hashids 问题因为原始hahsids 是基于了set ，但是对于set支持有点问题，所以阅读全文

posted @ 2022-05-28 21:04 荣锋亮阅读(377) 评论(0) 推荐(0)

nginx njs 方便的cli 测试工具

摘要：很多时候我们开发的njs 模块需要测试，官方实际上提供了一个njs cli 命令，可以方便的用来测试js 代码## 构建当我们构建了njs 之后会在build 目录包含一个njs 的cli 参考使用 app.js let app = { name:"dalong", age:333 } let i 阅读全文

posted @ 2022-05-28 17:15 荣锋亮阅读(137) 评论(0) 推荐(0)

基于typescript 开发njs 模块的一个玩法

摘要：如果体验了njs 模块的能力会发现njs 是一个很不错的js 模块，但是问题也不少，js 类型以及函数支持，同时npm模块支持也是一个很大的问题，个人比较推荐的集成模式是基于rollup 构建参考玩法集成说明因为缺少js 特性支持，我们可以基于core-js 进行扩展，对于npm 的集成我们阅读全文

posted @ 2022-05-28 17:03 荣锋亮阅读(381) 评论(0) 推荐(0)

typescript njs 开发参考资料

摘要：以前大概介绍过，以下是一些参考资料其中njs-typescript-starter 是一个很不错的项目值得参考学习，同时作者提供了babel-reset-njs 解决了发部分njs 对于es 支持的问题说明当前njs 对于js的支持还是有不少欠缺的，所以我们还是需要一些工具解决的，比如requi 阅读全文

posted @ 2022-05-27 22:56 荣锋亮阅读(94) 评论(0) 推荐(0)

dremio 的 joust 的作用

摘要：以前我大概有说过一些dremio的社区包，今天再看一个文件操作的时候看到了一个对于joust 的具体操作依赖包 dremio-ce-sabot-joust-cpp-20.1.0-202202061055110045-36733c65.jar dremio-ce-sabot-joust-java-2 阅读全文

posted @ 2022-05-26 18:35 荣锋亮阅读(85) 评论(0) 推荐(0)

dremio 21.1 分布式存储单机测试的一种方法

摘要： dremio 21.1 对于分布式存储的变动对于希望体验本地反射是一个比较费事的，我们需要自己配置下，当前支持的分布式存储实际上是不少的，包含了传统的hdfs，nas，s3 ,mapr,adls, 但是很多是时候大家肯定没有实际条件实际上有一种最简单方法就是直接使用本地存储，只是使用了类似nas 阅读全文

posted @ 2022-05-26 18:34 荣锋亮阅读(186) 评论(0) 推荐(0)

dev-sec devops+security 工具集

摘要： dev-sec 提供了分层的安全检查基线，同时基于不同的部署工具提供了方便的模块（ansible，chef，puppet）分层提供的能力说明 dev-sec 提供的主机基线工具是一个很不错的东西，ansible是一个不错的东西，其中ansible-collection-hardening是很值得阅读全文

posted @ 2022-05-25 17:41 荣锋亮阅读(145) 评论(0) 推荐(0)

nginx 1.22.0 发布了

摘要： nginx 1.22.0 是一个稳定版本，核心是对于12.x 主线的修复，同时对于pcre2 库支持的ga，这个对于以前的nginx 模块影响不小说明同时在当天njs 0.7.4 也发布了，对于fetch 添加了不少新特性，比如超时，校验，buffer 参考资料 https://nginx.or 阅读全文

posted @ 2022-05-25 15:05 荣锋亮阅读(623) 评论(0) 推荐(0)

gooddata-cn 试用

摘要： gooddata 是一家搞无头bi 的企业，同时也提供了社区版，以下是一些试用 gooddata 包含的特性语意层 rest api 开发简单可嵌入数据可视化交互dashboard 自定义可视化自服务分析启动启动有点慢，默认账户密码demo@example.com，demo123 do 阅读全文

posted @ 2022-05-24 17:17 荣锋亮阅读(125) 评论(0) 推荐(0)

dremio 几个缓存数据清理

摘要： dremio 大量使用了数据缓存，元数据，查询job result，加速数据缓存，spill 本地磁盘缓存 job result 清理按照官方的说法是系统包含了定时任务，默认会30天自动清理,同时变动之后当手工重启的时候会自定清理，同时不清理job 的profile 只是job result 但是阅读全文

posted @ 2022-05-24 17:14 荣锋亮阅读(145) 评论(0) 推荐(0)

cube.js 对于headless-bi 核心组件的定义

摘要： cube.js 定义自己是一个headless-bi ，同时官方发布了一篇很不错的文章，说明了headless-bi 应该包含的组件参考图包含的核心组件数据模型，cube.js 基于类json 的格式定义了自己的数据模型访问控制，这个实际上cube.js 是提供了扩展点，以及一些hook我们阅读全文

posted @ 2022-05-24 13:11 荣锋亮阅读(446) 评论(0) 推荐(0)

dremio 21.1 分布式存储配置demo

摘要：主要演示下，具体参数以前我有说明过环境准备 dockerfile FROM dremio/dremio-oss:21.1 USER root COPY dremio-env-profile /opt/dremio/conf/dremio-env COPY --from=hengyunabc/art 阅读全文

posted @ 2022-05-23 23:23 荣锋亮阅读(95) 评论(0) 推荐(0)

dremio 构建几个问题

摘要：直接基于下载的源码包，以下是自己构建可能的一些问题（因为每个人的电脑问题比较多，以下是整理一些比较典型的） npm 版本问题建议保持一致，目前当前的版本至少7.7.5 （21.1）依赖版本问题如果网络不通这个就是一个问题，可以使用本地模式的，（本地模式的注意需要自己构建下） "react-do 阅读全文

posted @ 2022-05-23 22:05 荣锋亮阅读(100) 评论(0) 推荐(0)

使用ansible awx 管理ansible 服务部署

摘要： ansible awx 是ansible tower 的开源版，可以解决不少我们的问题（统一管理，调度，可视化操作）基于容器的安装部署 awx 的运行也是基于了ansible 运行的，所以我们需要先安装好ansible 构建 make ui-release // 这个还是比较重要的，不然ui 会阅读全文

posted @ 2022-05-22 23:15 荣锋亮阅读(957) 评论(0) 推荐(0)

spring 使用jsontemplate 处理rest 响应内容格式

摘要：实际上jsontemplate只是提供了一种简化json 格式的方法，实际上我们也是可以直接基于模版引擎的只是jsontemplate 对于json 处理相对简单，同时提供了不少方便的功能参考图简单的集成图，只是对于处理我们基于了jsontemplate 代码集成很简单，核心就是利用json 阅读全文

posted @ 2022-05-21 10:29 荣锋亮阅读(247) 评论(0) 推荐(0)

nginx 安全请求头

摘要：一些关于 nginx 配置以及安全头的链接，值得参考，可以保障我们系统的安全参考资料 https://geekflare.com/tools/tests/rj6uevqzwhttps://github.com/GetPageSpeed/ngx_security_headershttps://dev 阅读全文

posted @ 2022-05-20 12:28 荣锋亮阅读(171) 评论(0) 推荐(0)

cratedb 4.8 新特性

摘要： cratedb 4.8 的新特性不少，比较吸引人的就是支持了逻辑复制了逻辑复制可以将全部，或者部分数据同步到其他的cratedb 集群中，适合的场景，中心报表，中心存储，这个功能是很不错的 copy from/to 增强这个提供了不少特性，包含了从s3 拷贝数据，csv 格式解析参考资料 h 阅读全文

posted @ 2022-05-20 09:18 荣锋亮阅读(104) 评论(0) 推荐(0)

一次k8s 数据卷异常问题的解决

摘要： k8s 持久卷的问题实际上问题还是不少的，但是总的趋势的会越来越好的，以下记录一个自己处理的问题## 现象k8s 数据卷异常了，容器在启动的时候，k8s 会包装存储一致性检查以及正确的挂载碰到的问题multiply-claimed block(s), shared with 3 file(s)造成挂阅读全文

posted @ 2022-05-19 23:29 荣锋亮阅读(280) 评论(0) 推荐(0)

openresty 1.21.4 发布了

摘要：就在昨天（5.17 ） openresty 发布了1.21.4 版本,按照标准openresty 1.21.4 是基于nginx 的1.21.4 版本开发的说明目前nginx 1.21.5 开始，使用pcre2了，所以后续版本openresty 会有比较大的影响，同时对于以前好多基于pcre的阅读全文

posted @ 2022-05-18 20:27 荣锋亮阅读(492) 评论(0) 推荐(0)

导航

公告