有态度马甲-- 精益码农

摘要： 给近半年做的云原生AI算力平台做一个回顾， 思考和实践参考了云溪大会上的分享：为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践，全文很长，我这边做一个牵引和解读。 1. 云计算迎来“智算”时代 云计算是一种通过互联网的方式按需提供计算资源（如服务器、存储、数据库、网络、软件等）的服务 阅读全文

摘要： 💡 糟糕，k8s informer我好像拉一坨大的 近段时间在做云原生AI算力平台，之前提到使用k8s informer机制管控多渠道提交的训练任务。 上面第4点： informer会监听通过cli和网页portal提交的job， 回显到portal平台，并在job发生状态变更时通知用户。 1. 阅读全文

摘要： 上文使用koordinator演示gang-scheduling和binpack调度， 已经生效。 4个2卡Pod龟缩在一个节点，另外一个2卡Pod被挤到另外一个节点（每节点上虚拟gpu：8卡）。 此时我们再尝试申请8卡作业，pod会Pending状态。但一旦节点有资源，pod就会自动进入Runni 阅读全文

摘要： AI时代。算法和算力和数据是三大关键要素，用算法基于算力训练数据、产生AI大模型， 模型在推理的时候会迸发智能。 35+的传统程序员或许已经卷不赢 初出象牙塔的萌新码农，或许将这三者结合，形成工程化会是现阶段大龄码农的某条出路。 有关AI工程化，我最近在做一个企业级项目【云原生AI算力平台】， 基于 阅读全文

摘要： 1. nginx原生限流能力 ngx_http_limit_req_module 提供的请求限流能力必须基于某个预定义的key,eg: client Ip, request_uri, host_name, 这个限流器是基于漏桶算法。 limit_req_zone $binary_remote_add 阅读全文

摘要： 1. 令牌桶按用户维度限流 前文golang/x/time/rate演示了基于整体请求速率的令牌桶限流； 那基于用户id、ip、apikey请求速率的限流(更贴近生产的需求)， 阁下又该如何应对？ 那这个问题就从全局速率变成了按照用户维度（group by userid）来做限流，那么 早先的全局的 阅读全文

摘要： CloudFlare介绍限速的文章， 讲述了限速的使用场景和运作方式。 最难的是构建一个既高效又匹配需求的算法。 1.流行的限速器 ① 固定窗口限速 Fixed Window Counter 跟踪固定时间间隔（如 1 分钟）内的请求数量，一旦达到上限，就会拒绝该窗口中的后续所有请求。 UserCas 阅读全文

摘要： kube-scheduler负责将k8s pod调度到worker节点上。 当你部署pod时，在manifest文件pod规格上会指定cpu、memory、亲和性affinity、污点taints、优先级、持久盘等。 调度器的主要工作是识别create request然后选择满足要求的最佳节点。 分 阅读全文

摘要： kong网关转发http服务，各大博主都已经聊包浆了。 kong网关原生支持代理gRPC请求，本文通过一个示例来记录通过kong网关管理gRPC服务，并且使用grpcbin和grpcurl哼哈二将来模拟和验证grpc服务能力。 kong网关核心的控制面实体： service ： 上游服务的抽象 ro 阅读全文

摘要： hello， 这是有态度马甲的第xxx篇原创口水文。有趣指数5颗星，有用指数5颗星。 😠😠本文是国外技术网站medium上点赞超过200+的翻译/笔记文，有关规避/解决幂等请求的编程指南。 1. 软件领域二次请求无法避免 我们生活的每时每刻都是独一无二的，事情/动作可能不会相同的形式再次发生。 阅读全文