荣锋亮 - 博客园

pyroscope 最近的一些变动

摘要： pyroscope 是一个不错的持续profiler 工具，与parca 是一类东西，但是两个使用的技术栈是不一样的，后边会对比下支持的语言支持的语言越来越多了，同时也添加了ebpf 的支持参考下图额外扩展 lambda api 的处理添加了grafana plugin remote wri 阅读全文

posted @ 2022-09-14 13:27 荣锋亮阅读(248) 评论(0) 推荐(1)

parca && pyroscope 对比

摘要：简单对比下parca 以及pyroscope，两个都是持续profile 平台工具技术核心 parca 利用了ebpf进行agent 的push 处理，当然也支持基于google 的pprof，parca 核心就利用了pprof pyroscope 属于自己定义的格式，语言支持 pyroscop 阅读全文

posted @ 2022-09-14 13:24 荣锋亮阅读(564) 评论(0) 推荐(1)

tilt 解决dev 环境微服务部署的工具

摘要： tilt 核心是解决部署在k8s 上的微服务，让我们的开发环境即代码官方的说法kuberntes for prod Tilt for devtilt 可以类似我们的一些操作docker build && kubectl apply 以及docker-compose up tilt 自动化了所有步骤阅读全文

posted @ 2022-09-12 22:34 荣锋亮阅读(270) 评论(0) 推荐(0)

parca 对于frostdb 的使用简单说明

摘要： parca 使用badger 存储元数据，使用frostdb 列存，存储采样数据简单集成使用说明 frostdb 官方文档提供了一些简单的集成demo，值得学习参考参考代码pkg/parca/parca.go ，pkg/scrape/manager.go，pkg/scrape/scrape.go 阅读全文

posted @ 2022-09-12 20:36 荣锋亮阅读(141) 评论(0) 推荐(0)

fgprof golang profiler 支持on cpu 以及off cpu

摘要： fgprof 是相比golang 默认pprof 方便的工具，可以用来方便的分析on cpu 以及off cpu ，相比官方的提升不少说明没有银弹，fgprof 也有缺点的：不支持c 函数，当前实现依赖go 的调度器，一些数据可能不准确，parca 也依赖了此包具体是在parca serve 阅读全文

posted @ 2022-09-12 18:18 荣锋亮阅读(273) 评论(0) 推荐(0)

polarsignals frostdb golang嵌入式列存

摘要： frostdb 是parca 内部存储的核心，是一个列式存储包含的特点 golang 开发，方便golang 应用嵌入不可变数据集数据包含动态列，列可能在运行时扩展技术上基于了apache parquet （存储）以及apache arrow （查询）参考资料 https://githu 阅读全文

posted @ 2022-09-12 17:50 荣锋亮阅读(125) 评论(0) 推荐(0)

event-ruler 简单试用

摘要： event-ruler 目前event-ruler 似乎还没有发布 maven 仓库，可以自己构建构建命令 mvn clean package install -Dmaven.test.skip 参考使用 package com.dalong; import software.amazon.eve 阅读全文

posted @ 2022-09-12 10:36 荣锋亮阅读(118) 评论(0) 推荐(0)

event-ruler aws 开源的events 规则匹配包

摘要： event-ruler 核心是处理对于event 的规则匹配，比如做为数据校验，数据查询使用目前官方是包含了几种使用模式使用状态机 Machine 包含了addRule、deleteRule 以及rulesForJSONEvent 等方法使用静态函数 Ruler.matchesRule 方法阅读全文

posted @ 2022-09-12 10:13 荣锋亮阅读(139) 评论(0) 推荐(0)

parca 简单试用

摘要： parca 支持多种模式的数据ingestion 以下测试下基于pull 模式的数据ingestion 模式参考图环境准备 docker-compose.yaml version: '3' services: app: build: ./ ports: - "3000:3000" parca: 阅读全文

posted @ 2022-09-11 23:16 荣锋亮阅读(274) 评论(0) 推荐(0)

buf 新的使用protocol buffers 的工具

摘要： buf 解决了现有基于protocol buffers 进行api 开发的一些问题 buf 的特性管理protobuf 资产、包含了插件、模版、以及buf 的schema 仓库 liner 支持，可以开发更好的api 可以增强源码以及协议级的兼容基于配置模版的生成器格式化器，基于工业级标准的格阅读全文

posted @ 2022-09-11 18:08 荣锋亮阅读(432) 评论(0) 推荐(0)

parca ingestion 模式说明

摘要： parca ingestion 模式从上图可以看出parca 支持的模式，包含了pull以及push 模式说明 push 模式基于agent 进行push 处理，利用ebpf 进行获取处理，然后转换为pprof，然后push 到后端存储 pull 模式核心是基于pprof client 生成对阅读全文

posted @ 2022-09-11 15:00 荣锋亮阅读(57) 评论(0) 推荐(0)

parca-agent 安全问题

摘要： parca-agent 运行在root 账户，或者需要cap 能力（CAP_SYS_ADMIN ），同时官方为了安全对于执行文件进行了签名同时对于依赖以及代码使用了安全工具进行处理，对于bpf 的处理基于了libbpf 包，不依赖clang 以及llvm 说明 ebpf 是很不错的，但是ebpf 运阅读全文

posted @ 2022-09-11 11:12 荣锋亮阅读(50) 评论(0) 推荐(0)

parca-agent 数据处理一些简单说明

摘要： parca-agent 在parca 中属于一个比较重要的组件 parca-agent 参考处理包含的步骤目标发现，发现运行的cgroups 使用bpf 程序每10s进行一些原始栈数据的采样转换原始栈数据为pprof 格式的profile 如果需要记性处理（比如可能会提取debug 符号信息）阅读全文

posted @ 2022-09-11 11:06 荣锋亮阅读(89) 评论(0) 推荐(0)

基于wireshark 分析waf 响应处理慢的问题

摘要：主要是记录下当时对于出现问题的一个解决思路问题因为安全需要，一部分业务需要集成到waf 中，原有业务包含了一个nginx 做为流量入口，在加入waf 之后同时修改本地host 发现从waf 的请求是时快时慢而且大部分时间都是很慢的，但是通过nginx 的一直很快（本来就是一直没有问题）业务参考阅读全文

posted @ 2022-09-11 10:48 荣锋亮阅读(418) 评论(0) 推荐(0)

victoriametrics 与Grafana Mimir 的一个性能对比

摘要：内容来自victoriametrics 官方，主要说明了victoriametrics 与Grafana Mimir 的性能差异说明 victoriametrics 以及Mimir 都是我比较喜欢的prometheus metrics 存储服务，但是从能力上来说victoriametrics 更好阅读全文

posted @ 2022-09-11 00:06 荣锋亮阅读(214) 评论(0) 推荐(0)

parca持续内存&cpu 分析工具

摘要： parca 是利用了ebpf 以及google 的pprof 功能实现的内存以及cpu propfiler 工具包含的特性多维数据模型，通过官方文档可以了解到支持的数据处理是不错的内置优化的存储支持基于pull，以及push 模式，部分实际上是借鉴了prometheus 格式的，但是支持了p 阅读全文

posted @ 2022-09-10 22:51 荣锋亮阅读(297) 评论(0) 推荐(0)

uptrace 基于opentelemetry的开源apm

摘要： uptrace 是一个开源的apm 工具，集成了trace，log，以及metrics，核心使用了opentelemetry对于数据存储使用了clickhouse，实际技术实现上与signoz 类似，都是基于了opentelemetry 同时基于clickhouse 进行存储对于配置存储上感觉都不太阅读全文

posted @ 2022-09-06 21:42 荣锋亮阅读(981) 评论(0) 推荐(0)

frida 简单试用

摘要：内容来自官方访问，主要是一个学习试用安装frida 推荐基于venv python3 -m venv venv source venv/bin/activate pip install frida-tools 案例进行分析c 语言的函数调用 hello.c #include <stdio.h> 阅读全文

posted @ 2022-09-04 20:00 荣锋亮阅读(86) 评论(0) 推荐(0)

frida 动态检测工具集

摘要： frida 是面向开发、反向工程、安全研究的动态检测工具集特性脚本化可移植强，支持多种语言的免费完备的测试说明 frida 核心部分基于c 编写，使用quickjs 注入到目标进程，使用python 以及js 我们可以进行系统异常的捕捉,frida 是一个不错的工具集对于我们碰到的一些疑阅读全文

posted @ 2022-09-04 18:46 荣锋亮阅读(235) 评论(0) 推荐(0)

java password hash 几个安全工具包

摘要： password 安全存储是一个比较重要的东西，以下是一个可选的工具包，值得再项目中使用，提升系统的安全性几个参考工具包 password4j jhash wg/scrypt 参考资料 https://github.com/Password4j/password4jhttps://github.c 阅读全文

posted @ 2022-09-04 12:30 荣锋亮阅读(142) 评论(0) 推荐(0)

Why No Password Is Better than One Password 文章学习

摘要： Why No Password Is Better than One Password 是由curity 团队写的一篇文章，说明了No Password的一种实践详细的参考链接，以下是一些整理什么是无密码界面中不需要输入任何密码，key 可选的模式比如早期的sms，邮件，实际上解决方法很多使阅读全文

posted @ 2022-09-04 11:50 荣锋亮阅读(43) 评论(0) 推荐(0)

nginx njs 0.7.7发布

摘要：最近nginx njs 模块发布了0.77 版本了有一些新特性新特性 nginx 模块 njs 对于 http 以及stream 能力的扩展，js_import ，js_path ，js_set ， js_var 支持server 以及location context了（server 不支持）阅读全文

posted @ 2022-09-03 08:42 荣锋亮阅读(405) 评论(0) 推荐(0)

opensergo 阿里开源的语言无关的云原生服务治理指南

摘要： opensergo 是阿里巴巴开源提供的语言无关的云原生服务治理指南，包含了不少子项目（指南，golang，java，协议）概览说明 opensergo 还是很完备的，很值得学习参考，后续仔细研究下参考资料 https://github.com/opensergo/opensergo-spec 阅读全文

posted @ 2022-09-01 23:55 荣锋亮阅读(357) 评论(0) 推荐(0)

主机网络限速+测速工具

摘要： wondershaper 是基于tc 包装的一个很不错的网络限速工具，speedtest-cli 是一个网络测速工具speedtest 是基于浏览器的测速工具，同时也包含了不少语言的扩展，都是比较值得使用的参考资料 https://github.com/sivel/speedtest-clihtt 阅读全文

posted @ 2022-08-31 23:13 荣锋亮阅读(350) 评论(0) 推荐(0)

nginx proxy_pass 包含路径问题

摘要： nginx proxy_pass 是可以包含路径的，同时路径如果包含/ 以及不包含/的效果是不一样的参考包含路径 location /api/v1/ { proxy_pass http://127.0.0.1/myapi/; } 请求之后就变成了: http://localhost/api/v1 阅读全文

posted @ 2022-08-31 21:25 荣锋亮阅读(1484) 评论(0) 推荐(0)

windows jenkins openssh 集成问题

摘要：最近项目需要使用windows openssh 的一些能力解决一些问题，按照一般的安装方法，肯定是使用最新版本的，但是安装之后通过ssh 客户端的确是可以正常的链接，但是通过jenkins 链接就是不成功，在开启了log 日志之后也没发现什么线索，因为以前是使用过windows openssh 的而阅读全文

posted @ 2022-08-31 20:46 荣锋亮阅读(103) 评论(0) 推荐(0)

一些不错的nginx 开发资料

摘要：最近在学习nginx，整理一些感觉不错的资料，方便使用，一个是taobao tengine 团队写的关于nginx 介绍的，一个是白云山团队翻译的还有一个值得阅读的是openresty的一些高质量模块说明主要是想整体学习下nginx 的内部机制，提高解决问题的能力，同时也可以学习以下设计，总处于阅读全文

posted @ 2022-08-28 11:26 荣锋亮阅读(79) 评论(0) 推荐(0)

dremio 22.1.1 发布

摘要：这次dremio 的发布从功能上更多是bug 修复比较多，对于增强上主要是调整了对于嵌入nessie 历史数据的处理，允许对于非分片列的运行时过滤优化bug 修复还是比较多的，具体可以参考官方文档参考资料 https://docs.dremio.com/software/release-notes 阅读全文

posted @ 2022-08-25 20:17 荣锋亮阅读(53) 评论(0) 推荐(0)

nginx proxy_cache 无法生效问题解决

摘要： nginx proxy_cache 是一个比较有用的东西，可以对于系统请求的资源进行cache，可以提升系统的性能参考玩法参考资料 cache zong proxy_cache_path /data/nginx_caches2 levels=1:2 keys_zone=static_cache1 阅读全文

posted @ 2022-08-22 21:17 荣锋亮阅读(1190) 评论(0) 推荐(0)

nginx ngx_http_degradation_module 模块

摘要： ngx_http_degradation_module 是一个不错的nginx 模块，但是官方文档没有写，主要的场景是在低内存的情形下允许Nginx服务器返回444错误或204错误参考使用 http { degradation sbrk=500m; // main 级别的 server { lo 阅读全文

posted @ 2022-08-21 18:53 荣锋亮阅读(242) 评论(0) 推荐(0)

基于iap 的安全控制

摘要：一篇来自Teleport 团队的安全实践，还是值得学习的，链接https://thenewstack.io/zero-trust-network-security-with-identity-aware-proxies/ 参考架构说明来自hashicorp 的Boundary 方案也是一个不错的阅读全文

posted @ 2022-08-21 18:39 荣锋亮阅读(78) 评论(0) 推荐(0)

openlitespeed LiteSpeed 的开源版

摘要： LiteSpeed 国内可能使用的人不是很多，大家使用nginx 比较多，据说LiteSpeed 性能是nginx 的好多倍 openlitespeed 的特性事件驱动兼容apache 的mod_rewirte 管理员友好安全以及速度集成了anti-ddos以及modsecurity v3 阅读全文

posted @ 2022-08-21 17:51 荣锋亮阅读(190) 评论(0) 推荐(0)

一些不错的web 性能测试工具

摘要：以下整理一个不错的web 性能测试工具，主要是国外的可以用来性能（同时也包含了一些开源方案） sitecheck&performance sucuri 公司的安全以及性能测试工具 sitespeed 这个东西我以前介绍过一个工具集可以用来进行web 性能测试以及优化 pagespeed google 阅读全文

posted @ 2022-08-21 17:32 荣锋亮阅读(215) 评论(0) 推荐(0)

mongo docker 内存问题

摘要： mongo docker 镜像对于cgroup 的内存管理是有点问题的，所以推荐基于容器运行mongo 的配置上wiredTigerCacheSizeGB 的大小可以规避内存占用的问题(同时最好做好内存限制) 服务内容占用情况查看 db.adminCommand( { hostInfo: 1 } 阅读全文

posted @ 2022-08-18 23:07 荣锋亮阅读(314) 评论(0) 推荐(0)

一次nginx 请求真实ip 问题处理

摘要： nginx ngx_http_realip 模块是比较重要的，我以前也大概说过，同时网上关于此模块的资料也不少，今天就碰到了一个获取真实ip 的问题记录下参考业务模型问题以前的配置,waf 会自动携带ip 到X-Forwarded-For，同时会附加最后一跳的ip real_ip_heade 阅读全文

posted @ 2022-08-17 22:39 荣锋亮阅读(253) 评论(0) 推荐(1)

pixie k8s 原生应用即时监控工具

摘要： pixie 使用了ebpf 进行k8s 服务的观测支持的特性自动遥测： Pixie 使用 eBPF 自动收集遥测数据，例如全身请求、资源和网络指标、应用程序配置文件等。在此处查看完整的数据源列表。集群内边缘计算： Pixie 在集群本地收集、存储和查询所有遥测数据。Pixie 使用不到 5% 阅读全文

posted @ 2022-08-17 21:36 荣锋亮阅读(894) 评论(0) 推荐(1)

nginx ngx_http_addition_module 模块openresty content_by_lua 不能生效的原因

摘要： nginx 的ngx_http_addition_module 模块也是一个修改content 的好东西，对于openresty 我们经常使用content_by_lua 阶段处理但是经过分析ngx_http_addition_module 源码的处理机制，他是基于body_fiter 处理的，所阅读全文

posted @ 2022-08-16 00:07 荣锋亮阅读(428) 评论(0) 推荐(1)

nginx 的 ngx_http_addition_module 模块

摘要： nginx 的ngx_http_addition_module 提供了before 以及after 的能力，可以方便进行请求的处理参考使用环境 docker-compose 文件 version: '3' services: app: image: openresty/openresty:1.2 阅读全文

posted @ 2022-08-15 21:09 荣锋亮阅读(175) 评论(0) 推荐(0)

nginx 一些简单访问控制模块

摘要： nginx 已经内置了一些简单的访问控制模块，利用好这些模块我们可以提升系统的安全几个比较有用的标准模块基本都是利用了access 阶段的能力 limit_except 限制请求方法的（类似白名单，可以与access 集成使用） access 的allow 以及deny （ip 防护，支持基于c 阅读全文

posted @ 2022-08-15 09:40 荣锋亮阅读(84) 评论(0) 推荐(0)

一些网络延迟测试工具

摘要：主要整理一些工具，方便使用参考工具 iperf 比较老牌的，使用的用户比较多 ethr 微软基于golang 开发的，新秀 nuttcp 基于了nttcp，原始来源是ttcp scamper 一个比较强大的工具，集成了众多工具网络工具的能力， pscheduler 完成的BWCTL 替换工具，很阅读全文

posted @ 2022-08-14 16:24 荣锋亮阅读(774) 评论(0) 推荐(0)

导航

公告