有态度马甲-- 精益码农

摘要： 上文《higress这个中登才是AI时代的心头好》提到用vll production-stack 部署LLM， 今天我们补交作业， 记录使用vllm production-stack 部署llm。 1. k8s调度gpu 集群管理员，需要在worker节点上安装设备驱动，并运行对应的设备插件。 为了 阅读全文

摘要： 1. 算力单位 P= Peta 完整单词： Petaflops Peta： 10^15 千万亿 flops: floating-point operations per second 每秒浮点运算次数 算力单位从小到大： K= Kilo 千 M = Mega（百万） G = Giga（十亿） T = 阅读全文

摘要： 2026年3月底， ingress-nginx这个老登就会举办退役仪式，k8s社区强烈推荐运维迁移到其他云原生网关。 2026年3月初， 虾系玩物claw已经被AI市场宠的不像样。 最近我们在探索用一套AI网关同时提供 云原生API和 AI token服务，于是我们开始从ingres-nginx迁移 阅读全文

摘要： 前文ingress这个老6， 记录了我对于ingress-nginx的默认部署方式的认知： 在集群内产生nginx服务，与集群内服务互访，利用nginx 走7层转发； 产生的nginx服务对外以nodeport形式暴露。 但是读者也发现了这种默认的ingress-nginx并没有解决： 节点负载均衡 阅读全文

摘要： 春节期间，qwen3.5和openclaw火到爆， 咱们让子弹飞了一阵子，目前收到的信息是 ① 大龙虾配置极其复杂，非科班生很容易失败 ② 大龙虾很费token。 香港大学开源的nanobot 作为大龙虾的平替， 我试用下来，门槛相对较低，资源占用很少，功能完备， github上26k star。 阅读全文

摘要： 前文提要：还有比ollama更傻瓜式的大模型本地部署方式吗 ？ 1.function calling 底层工作原理 大模型重塑了我们与软件应用的交互方式， 其中最重要的特性就是 function calling 。 一种利用结构化输入/输出在LLM和编程应用之间建立桥梁的方式。 不管是当前火热的AI 阅读全文

摘要： LLM的狂风已经吹了几年， 所有人都耳濡目染的会飚上几句行话/名词。切好你自己有台4070的机器，恰好你有时间倒腾， 那就让我们回顾一遍名词，验证狂风吹过的技术车辙。 恰好最近有台4070(12g显存)机器，于是尝试使用ollama部署大模型。 RTX 4070 擅长训练中小型模型；凭借其 184 阅读全文

摘要： 今天快速介绍目前市场面常见的三个watch机制的实现。 1.chunked transfer encoding k8s控制面几个组件，核心枢纽是apiserver， 除etcd之外，其他组件都通过restful进行http通信。 上文提到的informer机制是controller的标准范式， 目的 阅读全文

摘要： 给近半年做的云原生AI算力平台做一个回顾， 思考和实践参考了云溪大会上的分享：为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践，全文很长，我这边做一个牵引和解读。 1. 云计算迎来“智算”时代 云计算是一种通过互联网的方式按需提供计算资源（如服务器、存储、数据库、网络、软件等）的服务 阅读全文

摘要： 💡 糟糕，k8s informer我好像拉一坨大的 近段时间在做云原生AI算力平台，之前提到使用k8s informer机制管控多渠道提交的训练任务。 上面第4点： informer会监听通过cli和网页portal提交的job， 回显到portal平台，并在job发生状态变更时通知用户。 1. 阅读全文