摘要: 前言 2024年大模型火得一塌糊涂,但很多公司不敢把业务数据往OpenAI、文心一言这些公网API传——合规问题、数据安全、成本控制,哪个都是痛点。 我们公司从年中开始搞私有化部署,踩了不少坑,也积累了一些经验。Ollama是我们最终选定的方案,原因很简单:部署简单、模型生态好、资源占用可控。 这篇 阅读全文
posted @ 2025-12-26 16:47 花宝宝 阅读(272) 评论(0) 推荐(0)
摘要: 前言 可观测性这个词这两年被说烂了,但很多团队的实际情况是:Prometheus管指标、ELK管日志、Jaeger管链路,三套系统各自为战,排查问题时要在三个界面之间跳来跳去。 去年我们开始推OpenTelemetry(简称OTel),目标是统一数据采集标准。折腾了大半年,总算把三大支柱(Metri 阅读全文
posted @ 2025-12-26 14:35 花宝宝 阅读(144) 评论(0) 推荐(0)
摘要: 前言 刚工作那会儿,遇到过一个诡异的问题:服务刚启动时第一批请求特别慢,好几秒才响应,之后就正常了。 查了半天发现是数据库连接的锅——每次请求都新建连接,TCP握手 + MySQL认证,一套下来几百毫秒。用上连接池后,响应时间从秒级降到毫秒级。 连接池这东西,平时不出问题感觉不到它的存在,一出问题就 阅读全文
posted @ 2025-12-26 11:07 花宝宝 阅读(53) 评论(0) 推荐(0)