上一页 1 ··· 40 41 42 43 44 45 46 47 48 ··· 133 下一页

2022年6月6日

download nodejs方便的文件下载提取包

摘要: 如果大家有文件下载的场景,也包含带认证模式的,download 是一个很不错的工具包 包含的特性 可以指定下载目录(download 会自动创建文件夹,基于了make-p) 文件提取(对于归档文件处理,基于了decompress) 下载文件解析(可以基于Content-Disposition,确保文 阅读全文

posted @ 2022-06-06 09:12 荣锋亮 阅读(324) 评论(0) 推荐(0)

2022年6月5日

nchan 火焰图学习

摘要: 主要是想学习下nchan nginx 模块的生命周期阶段函数,为了方便直接基于openresty+perf 搞了一个docker 镜像 方便了解nchan 的阶段处理 docker 镜像构建 具体参考github 文档, https://github.com/rongfengliang/openre 阅读全文

posted @ 2022-06-05 23:10 荣锋亮 阅读(100) 评论(0) 推荐(0)

基于nchan 开发消息服务的一些核心知识点

摘要: 以前简单说明下如何集成,在此说明下集成核心的指令,可以加速我们的集成 参考集成模式 此图以前简单介绍过 核心: 基于redis 以及一些消息管理api,我们利用nchan 提供的auth 以及消息转发能力,对于消息进行处理,对于消息做一些扩展 几个核心指令 认证&安全 因为部分处理属于长连接,连接是 阅读全文

posted @ 2022-06-05 16:52 荣锋亮 阅读(193) 评论(0) 推荐(0)

基于nchan 构建可靠的websocket 服务

摘要: 以下只是简单的说明,细节上后边会详细从实践上说明 参考图 集成简单说明 我们基于redis 保证消息的可靠,同时结合openresty 做一些扩展,利用nchan提供的auth 以及消息回调处理能力我们进行消息的处理,利用nchan 对于消息的处理能力我们只需要开发一些rest api 接口,消息核 阅读全文

posted @ 2022-06-05 00:29 荣锋亮 阅读(139) 评论(0) 推荐(0)

2022年6月4日

openresty 1.21.4 集成nchan 1.3.0

摘要: 原计划是将nchan 构建为一个动态模块(centos 的)但是发现包含了一些gcc 的问题,所以就直接使用了容器构建(alpine) 镜像 直接复用了openresty官方的,添加了nchan模块,具体参考github,同时也包含了一个fat jar dalongrong/openresty:1. 阅读全文

posted @ 2022-06-04 18:13 荣锋亮 阅读(221) 评论(0) 推荐(0)

haproxy 2.6 发布

摘要: haproxy 2.6 发布了,提供了不少特性,其中quic (http3) 是可以直接使用了(注意依赖openssl 版本)我已经构建一个版本 http3 参考使用 docker 镜像 dalongrong/haproxy:2.6-debian-quic 使用 可以直接参考官方示例 # # Exa 阅读全文

posted @ 2022-06-04 14:08 荣锋亮 阅读(404) 评论(0) 推荐(0)

nodejs stream 背压处理学习

摘要: 内容是nodejs 官方的,对于需要开发自己的stream 是很值得学习参考的 参考资料 https://nodejs.org/en/docs/guides/backpressuring-in-streams/https://nodejs.org/docs/latest/api/stream.htm 阅读全文

posted @ 2022-06-04 00:14 荣锋亮 阅读(56) 评论(0) 推荐(0)

2022年6月3日

nodejs 通过s3fs 处理文件

摘要: s3fs 是一个不错的nodejs fs s3 接口实现,我们基于此可以访问s3 文件,可以方便的简化文件存储 参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文

posted @ 2022-06-03 22:27 荣锋亮 阅读(114) 评论(0) 推荐(0)

nodejs 文件到s3的几种方法

摘要: s3 是一个很不错的文件存储以及管理系统,很多时候我们简化文件处理(比如大文件或者,需要同步处理的) 参考使用 参考图 从工具以及代码层面 简单说明 工具上,我们可以直接将s3 暴露为一个普通的文件系统(一般都fuse)然后就可以按照标准的文件操作了,可以简单对于s3连接的处理,但是也是有缺点的就是 阅读全文

posted @ 2022-06-03 19:06 荣锋亮 阅读(535) 评论(0) 推荐(0)

top10 nginx 配置问题

摘要: 内容来自官方文档,值得参考学习 参考资料 https://www.nginx.com/blog/avoiding-top-10-nginx-configuration-mistakes/ 阅读全文

posted @ 2022-06-03 12:33 荣锋亮 阅读(50) 评论(0) 推荐(0)

2022年5月31日

openresty sse 动态扩展处理

摘要: sse (server send events) 是一个单向的服务器消息推送方案,比较适合的业务场景是实时数据显示(而且sse 可以很好的支持数据的多播) 参考图 集成说明 对于业务请求我们基于openresty 灵活的扩展能力,对于需要sse 服务的,我们可以按照租户或者业务系统或者单一订阅id进 阅读全文

posted @ 2022-05-31 13:38 荣锋亮 阅读(271) 评论(0) 推荐(0)

nginx 提供的MARA参考架构

摘要: MARA (Modern Apps Reference Architecture) 是由nginx 提供的一个参考架构,值得参考使用 参考图 说明 nginx 提供的这套参考架构还是值得学习参考的 参考资料 https://github.com/nginxinc/kic-reference-arch 阅读全文

posted @ 2022-05-31 13:12 荣锋亮 阅读(144) 评论(0) 推荐(0)

openresty proxy sse 服务

摘要: 实际上如果单纯的进行nginx sse 处理很简单,但是我们实际的场景存在数据访问控制以及数据处理 对于此问题,我们可以使用sse client 包装,然后同时将我们的请求endpoint 暴露为一个sse 服务 参考处理图 代码说明 sse 服务 基于nodejs 开发的一个测试,基于expres 阅读全文

posted @ 2022-05-31 00:47 荣锋亮 阅读(367) 评论(0) 推荐(0)

2022年5月30日

dremio 的job 分析参考示例

摘要: dremio 官方专门提供了一个章节,讲解如何进行分析,一些是一个总结,以及学习 预备 下载profiles,以及上传到dremio 中(个人默认space中)因为profiles 默认是json 格式的,我们直接使用dremio 查询分析数据 需要关注的内容: sql 查询:sql 查询是否符合预 阅读全文

posted @ 2022-05-30 16:11 荣锋亮 阅读(112) 评论(0) 推荐(0)

dremio 的job 分析

摘要: dremio 实际上对于sql 查询处理都是一个job,基于了自己的一套任务调度机制,很多时候我们也是需要进行job 分析的(执行中,以及执行完成的) job 概述 job 概述包含了job 查询类型,运行时间,开始时间,结束时间,用户以及jobid,同时还包含了数据量以及流量情况 job 详情 j 阅读全文

posted @ 2022-05-30 12:49 荣锋亮 阅读(100) 评论(0) 推荐(0)

dremio 21.2 发布

摘要: 这次版本的更新从官方文档看应该支持企业版的,但是发现社区版也是更新了,从介绍上bugfix 比较多,同时对于安全更新也不少 更新 dremio-admin clean 支持对于老旧dataset 版本的清理(不在关联job 的),注意clean 需要挺服务操作 dremio-admin clean 阅读全文

posted @ 2022-05-30 11:26 荣锋亮 阅读(88) 评论(0) 推荐(0)

2022年5月29日

msw 下一代api mock 服务

摘要: msw 是一个很不错的服务mock 工具 包含的特新 基于网络级别的拦截 标准service worker api 支持rest api 以及graphq api 客户端执行 原生ts 支持 类似express 的语法 说明 官方提供了一个30s 的工作原理介绍视频很值得学习下 参考资料 https 阅读全文

posted @ 2022-05-29 23:48 荣锋亮 阅读(234) 评论(0) 推荐(0)

使用molecule 开发测试ansible roles

摘要: molecule 是ansible 社区提供的一个方便用来开发以及测试ansible roles 的工具包,基于此我们可以开发强健的ansible rolesmolecule 底层使用了galaxy,对于需要开发ansible roles 的此模块是很值得使用的,dev-sec 的ansible r 阅读全文

posted @ 2022-05-29 23:35 荣锋亮 阅读(148) 评论(0) 推荐(0)

使用 testcontainer nginx +jest 集成测试njs 模块

摘要: jest 是一个很不错的js 测试框架,我们可以此方便的进行js 测试,基于testcontainer 我们可以使用容器 方便的测试,以下是一个参考使用 项目准备 项目结构 ├── README.md ├── conf │ └── nginx.conf ├── dist │ └── main.js 阅读全文

posted @ 2022-05-29 22:36 荣锋亮 阅读(184) 评论(0) 推荐(0)

nginx openresty 几个测试工具

摘要: 参考图 使用说明 对于经常基于perl 开发的可以直接基于nginx 或者openresty 的nginx 测试工具,基于基于nodejs 的我们可以直接使用jirutka/nginx-testing (基于mocha)是一个不错的工具,因为现在jest 是一个很不错的js 测试套件,我们可以利用容 阅读全文

posted @ 2022-05-29 17:11 荣锋亮 阅读(176) 评论(0) 推荐(0)

2022年5月28日

rrun+juicefs 进行nodejs 模块的运行

摘要: 参考图 玩法说明 我们使用ncc 将开发的node 应该直接all-in-one,同时暴露一个默认的npm (cmd )实现,同时直接利用juicefs 的s3 endpoint 上传到s3 中,juicefs 会做为一个 sidecar 挂载到我们的rrun 运行时节点中(可以基于虚拟机,以及容器 阅读全文

posted @ 2022-05-28 23:06 荣锋亮 阅读(110) 评论(0) 推荐(0)

nginx njs npm hashids 模块使用

摘要: 主要是将今天说到的工具做一个使用说明 场景 直接复用npm 的hashids 生成一个id,同时基于rollup 构建,对于缺少js 特性支持的基于core-js 进行polyfill 参考代码 fix hashids 问题 因为原始hahsids 是基于了set ,但是对于set支持有点问题,所以 阅读全文

posted @ 2022-05-28 21:04 荣锋亮 阅读(377) 评论(0) 推荐(0)

nginx njs 方便的cli 测试工具

摘要: 很多时候我们开发的njs 模块需要测试,官方实际上提供了一个njs cli 命令,可以方便的用来测试js 代码## 构建 当我们构建了njs 之后会在build 目录包含一个njs 的cli 参考使用 app.js let app = { name:"dalong", age:333 } let i 阅读全文

posted @ 2022-05-28 17:15 荣锋亮 阅读(137) 评论(0) 推荐(0)

基于typescript 开发njs 模块的一个玩法

摘要: 如果体验了njs 模块的能力会发现njs 是一个很不错的js 模块,但是问题也不少,js 类型以及函数支持,同时npm模块支持也是 一个很大的问题,个人比较推荐的集成模式是基于rollup 构建 参考玩法 集成说明 因为缺少js 特性支持,我们可以基于core-js 进行扩展,对于npm 的集成我们 阅读全文

posted @ 2022-05-28 17:03 荣锋亮 阅读(381) 评论(0) 推荐(0)

2022年5月27日

typescript njs 开发参考资料

摘要: 以前大概介绍过,以下是一些参考资料其中njs-typescript-starter 是一个很不错的项目值得参考学习,同时作者提供了babel-reset-njs 解决了发部分njs 对于es 支持的问题 说明 当前njs 对于js的支持还是有不少欠缺的,所以我们还是需要一些工具解决的,比如requi 阅读全文

posted @ 2022-05-27 22:56 荣锋亮 阅读(94) 评论(0) 推荐(0)

2022年5月26日

dremio 的 joust 的作用

摘要: 以前我大概有说过一些dremio的社区包,今天再看一个文件操作的时候看到了一个对于joust 的具体操作 依赖包 dremio-ce-sabot-joust-cpp-20.1.0-202202061055110045-36733c65.jar dremio-ce-sabot-joust-java-2 阅读全文

posted @ 2022-05-26 18:35 荣锋亮 阅读(85) 评论(0) 推荐(0)

dremio 21.1 分布式存储单机测试的一种方法

摘要: dremio 21.1 对于分布式存储的变动对于希望体验本地反射是一个比较费事的,我们需要自己配置下,当前支持 的分布式存储实际上是不少的,包含了传统的hdfs,nas,s3 ,mapr,adls, 但是很多是时候大家肯定没有实际条件 实际上有一种最简单方法就是直接使用本地存储,只是使用了类似nas 阅读全文

posted @ 2022-05-26 18:34 荣锋亮 阅读(186) 评论(0) 推荐(0)

2022年5月25日

dev-sec devops+security 工具集

摘要: dev-sec 提供了分层的安全检查基线,同时基于不同的部署工具提供了方便的模块(ansible,chef,puppet) 分层提供的能力 说明 dev-sec 提供的主机基线工具是一个很不错的东西,ansible是一个不错的东西,其中ansible-collection-hardening是很值得 阅读全文

posted @ 2022-05-25 17:41 荣锋亮 阅读(145) 评论(0) 推荐(0)

nginx 1.22.0 发布了

摘要: nginx 1.22.0 是一个稳定版本,核心是对于12.x 主线的修复,同时对于pcre2 库支持的ga,这个对于以前的nginx 模块影响不小 说明 同时在当天njs 0.7.4 也发布了,对于fetch 添加了不少新特性,比如超时,校验,buffer 参考资料 https://nginx.or 阅读全文

posted @ 2022-05-25 15:05 荣锋亮 阅读(623) 评论(0) 推荐(0)

2022年5月24日

gooddata-cn 试用

摘要: gooddata 是一家搞无头bi 的企业,同时也提供了社区版,以下是一些试用 gooddata 包含的特性 语意层 rest api 开发简单 可嵌入 数据可视化 交互dashboard 自定义可视化 自服务分析 启动 启动有点慢,默认账户密码demo@example.com,demo123 do 阅读全文

posted @ 2022-05-24 17:17 荣锋亮 阅读(125) 评论(0) 推荐(0)

dremio 几个缓存数据清理

摘要: dremio 大量使用了数据缓存,元数据,查询job result,加速数据缓存,spill 本地磁盘缓存 job result 清理 按照官方的说法是系统包含了定时任务,默认会30天自动清理,同时变动之后当手工重启的时候会自定清理,同时不清理job 的profile 只是job result 但是 阅读全文

posted @ 2022-05-24 17:14 荣锋亮 阅读(145) 评论(0) 推荐(0)

cube.js 对于headless-bi 核心组件的定义

摘要: cube.js 定义自己是一个headless-bi ,同时官方发布了一篇很不错的文章,说明了headless-bi 应该包含的组件 参考图 包含的核心组件 数据模型,cube.js 基于类json 的格式定义了自己的数据模型 访问控制,这个实际上cube.js 是提供了扩展点,以及一些hook我们 阅读全文

posted @ 2022-05-24 13:11 荣锋亮 阅读(446) 评论(0) 推荐(0)

2022年5月23日

dremio 21.1 分布式存储配置demo

摘要: 主要演示下,具体参数以前我有说明过 环境准备 dockerfile FROM dremio/dremio-oss:21.1 USER root COPY dremio-env-profile /opt/dremio/conf/dremio-env COPY --from=hengyunabc/art 阅读全文

posted @ 2022-05-23 23:23 荣锋亮 阅读(95) 评论(0) 推荐(0)

dremio 构建几个问题

摘要: 直接基于下载的源码包,以下是自己构建可能的一些问题(因为每个人的电脑问题比较多,以下是整理一些比较典型的) npm 版本问题 建议保持一致,目前当前的版本至少7.7.5 (21.1) 依赖版本问题 如果网络不通这个就是一个问题,可以使用本地模式的,(本地模式的注意需要自己构建下) "react-do 阅读全文

posted @ 2022-05-23 22:05 荣锋亮 阅读(100) 评论(0) 推荐(0)

2022年5月22日

使用ansible awx 管理ansible 服务部署

摘要: ansible awx 是ansible tower 的开源版,可以解决不少我们的问题 (统一管理,调度,可视化操作) 基于容器的安装部署 awx 的运行也是基于了ansible 运行的,所以我们需要先安装好ansible 构建 make ui-release // 这个还是比较重要的,不然ui 会 阅读全文

posted @ 2022-05-22 23:15 荣锋亮 阅读(957) 评论(0) 推荐(0)

2022年5月21日

spring 使用jsontemplate 处理rest 响应内容格式

摘要: 实际上jsontemplate只是提供了一种简化json 格式的方法,实际上我们也是可以直接基于模版引擎的 只是jsontemplate 对于json 处理相对简单,同时提供了不少方便的功能 参考图 简单的集成图,只是对于处理我们基于了jsontemplate 代码集成 很简单,核心就是利用json 阅读全文

posted @ 2022-05-21 10:29 荣锋亮 阅读(247) 评论(0) 推荐(0)

2022年5月20日

nginx 安全请求头

摘要: 一些关于 nginx 配置以及安全头的链接,值得参考,可以保障我们系统的安全 参考资料 https://geekflare.com/tools/tests/rj6uevqzwhttps://github.com/GetPageSpeed/ngx_security_headershttps://dev 阅读全文

posted @ 2022-05-20 12:28 荣锋亮 阅读(171) 评论(0) 推荐(0)

cratedb 4.8 新特性

摘要: cratedb 4.8 的新特性不少,比较吸引人的就是支持了逻辑复制了 逻辑复制 可以将全部,或者部分数据同步到其他的cratedb 集群中,适合的场景,中心报表,中心存储,这个功能是很不错的 copy from/to 增强 这个提供了不少特性,包含了从s3 拷贝数据,csv 格式解析 参考资料 h 阅读全文

posted @ 2022-05-20 09:18 荣锋亮 阅读(104) 评论(0) 推荐(0)

2022年5月19日

一次k8s 数据卷异常问题的解决

摘要: k8s 持久卷的问题实际上问题还是不少的,但是总的趋势的会越来越好的,以下记录一个自己处理的问题## 现象k8s 数据卷异常了,容器在启动的时候,k8s 会包装存储一致性检查以及正确的挂载碰到的问题multiply-claimed block(s), shared with 3 file(s)造成挂 阅读全文

posted @ 2022-05-19 23:29 荣锋亮 阅读(280) 评论(0) 推荐(0)

2022年5月18日

openresty 1.21.4 发布了

摘要: 就在昨天(5.17 ) openresty 发布了1.21.4 版本,按照标准openresty 1.21.4 是基于nginx 的1.21.4 版本开发的 说明 目前nginx 1.21.5 开始,使用pcre2了, 所以后续版本openresty 会有比较大的影响,同时对于以前好多基于pcre的 阅读全文

posted @ 2022-05-18 20:27 荣锋亮 阅读(492) 评论(0) 推荐(0)

上一页 1 ··· 40 41 42 43 44 45 46 47 48 ··· 133 下一页

导航