有态度马甲-- 精益码农

摘要： 最近利用nginx做了一个反向网站， 转发请求到后端域名。 nginx.conf.template 三下五除二： server { listen 80; location /api/asset/upload/ { proxy_pass https://asset.zlhub.com; proxy_s 阅读全文

摘要： 最近在加班加点的做一个Token工厂, 模式类似与京东：有自营算力产生的模型，也外接第三方旗舰模型。 作为Token聚合分发平台，帮助文档是刚性需求。 Docsify是一个将Markdown文件转换为单页面静态网站(无需任何构建过程)的开源项目，实测下来3min就能构建并搭建一个 帮助文档站点。 1 阅读全文

摘要： 前文在微信公众号平台爆了 ，接近1w自然阅读，文生文已经满足不了博主的分享欲，今天记录vllm咧一个文生图模型。 在文本生成领域，99%的应用都基于自回归模型（Autoregressive Models），也就是我们熟知的GPT系列、LLaMA等。 文本（Text）是离散的，由词元（Token）组成 阅读全文

摘要： 上文《higress这个中登才是AI时代的心头好》提到用vll production-stack 部署LLM， 今天我们补交作业， 记录使用vllm production-stack 部署llm。 1. k8s调度gpu 集群管理员，需要在worker节点上安装设备驱动，并运行对应的设备插件。 为了 阅读全文

摘要： 1. 算力单位 P= Peta 完整单词： Petaflops Peta： 10^15 千万亿 flops: floating-point operations per second 每秒浮点运算次数 算力单位从小到大： K= Kilo 千 M = Mega（百万） G = Giga（十亿） T = 阅读全文

摘要： 2026年3月底， ingress-nginx这个老登就会举办退役仪式，k8s社区强烈推荐运维迁移到其他云原生网关。 2026年3月初， 虾系玩物claw已经被AI市场宠的不像样。 最近我们在探索用一套AI网关同时提供 云原生API和 AI token服务，于是我们开始从ingres-nginx迁移 阅读全文

摘要： 前文ingress这个老6， 记录了我对于ingress-nginx的默认部署方式的认知： 在集群内产生nginx服务，与集群内服务互访，利用nginx 走7层转发； 产生的nginx服务对外以nodeport形式暴露。 但是读者也发现了这种默认的ingress-nginx并没有解决： 节点负载均衡 阅读全文

摘要： 春节期间，qwen3.5和openclaw火到爆， 咱们让子弹飞了一阵子，目前收到的信息是 ① 大龙虾配置极其复杂，非科班生很容易失败 ② 大龙虾很费token。 香港大学开源的nanobot 作为大龙虾的平替， 我试用下来，门槛相对较低，资源占用很少，功能完备， github上26k star。 阅读全文

摘要： 前文提要：还有比ollama更傻瓜式的大模型本地部署方式吗 ？ 1.function calling 底层工作原理 大模型重塑了我们与软件应用的交互方式， 其中最重要的特性就是 function calling 。 一种利用结构化输入/输出在LLM和编程应用之间建立桥梁的方式。 不管是当前火热的AI 阅读全文

摘要： LLM的狂风已经吹了几年， 所有人都耳濡目染的会飚上几句行话/名词。切好你自己有台4070的机器，恰好你有时间倒腾， 那就让我们回顾一遍名词，验证狂风吹过的技术车辙。 恰好最近有台4070(12g显存)机器，于是尝试使用ollama部署大模型。 RTX 4070 擅长训练中小型模型；凭借其 184 阅读全文