有态度马甲-- 精益码农

摘要： LLM的狂风已经吹了几年， 所有人都耳濡目染的会飚上几句行话/名词。切好你自己有台4070的机器，恰好你有时间倒腾， 那就让我们回顾一遍名词，验证狂风吹过的技术车辙。 恰好最近有台4070(12g显存)机器，于是尝试使用ollama部署大模型。 RTX 4070 擅长训练中小型模型；凭借其 184 阅读全文

摘要： 今天快速介绍目前市场面常见的三个watch机制的实现。 1.chunked transfer encoding k8s控制面几个组件，核心枢纽是apiserver， 除etcd之外，其他组件都通过restful进行http通信。 上文提到的informer机制是controller的标准范式， 目的 阅读全文

摘要： 给近半年做的云原生AI算力平台做一个回顾， 思考和实践参考了云溪大会上的分享：为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践，全文很长，我这边做一个牵引和解读。 1. 云计算迎来“智算”时代 云计算是一种通过互联网的方式按需提供计算资源（如服务器、存储、数据库、网络、软件等）的服务 阅读全文

摘要： 💡 糟糕，k8s informer我好像拉一坨大的 近段时间在做云原生AI算力平台，之前提到使用k8s informer机制管控多渠道提交的训练任务。 上面第4点： informer会监听通过cli和网页portal提交的job， 回显到portal平台，并在job发生状态变更时通知用户。 1. 阅读全文

摘要： 上文使用koordinator演示gang-scheduling和binpack调度， 已经生效。 4个2卡Pod龟缩在一个节点，另外一个2卡Pod被挤到另外一个节点（每节点上虚拟gpu：8卡）。 此时我们再尝试申请8卡作业，pod会Pending状态。但一旦节点有资源，pod就会自动进入Runni 阅读全文

摘要： AI时代。算法和算力和数据是三大关键要素，用算法基于算力训练数据、产生AI大模型， 模型在推理的时候会迸发智能。 35+的传统程序员或许已经卷不赢 初出象牙塔的萌新码农，或许将这三者结合，形成工程化会是现阶段大龄码农的某条出路。 有关AI工程化，我最近在做一个企业级项目【云原生AI算力平台】， 基于 阅读全文

摘要： 1. nginx原生限流能力 ngx_http_limit_req_module 提供的请求限流能力必须基于某个预定义的key,eg: client Ip, request_uri, host_name, 这个限流器是基于漏桶算法。 limit_req_zone $binary_remote_add 阅读全文

摘要： 1. 令牌桶按用户维度限流 前文golang/x/time/rate演示了基于整体请求速率的令牌桶限流； 那基于用户id、ip、apikey请求速率的限流(更贴近生产的需求)， 阁下又该如何应对？ 那这个问题就从全局速率变成了按照用户维度（group by userid）来做限流，那么 早先的全局的 阅读全文

摘要： CloudFlare介绍限速的文章， 讲述了限速的使用场景和运作方式。 最难的是构建一个既高效又匹配需求的算法。 1.流行的限速器 ① 固定窗口限速 Fixed Window Counter 跟踪固定时间间隔（如 1 分钟）内的请求数量，一旦达到上限，就会拒绝该窗口中的后续所有请求。 UserCas 阅读全文

摘要： kube-scheduler负责将k8s pod调度到worker节点上。 当你部署pod时，在manifest文件pod规格上会指定cpu、memory、亲和性affinity、污点taints、优先级、持久盘等。 调度器的主要工作是识别create request然后选择满足要求的最佳节点。 分 阅读全文