有态度马甲-- 精益码农

摘要： AI时代。算法和算力和数据是三大关键要素，用算法基于算力训练数据、产生AI大模型， 模型在推理的时候会迸发智能。 35+的传统程序员或许已经卷不赢 初出象牙塔的萌新码农，或许将这三者结合，形成工程化会是现阶段大龄码农的某条出路。 有关AI工程化，我最近在做一个企业级项目【云原生AI算力平台】， 基于 阅读全文

摘要： 1. nginx原生限流能力 ngx_http_limit_req_module 提供的请求限流能力必须基于某个预定义的key,eg: client Ip, request_uri, host_name, 这个限流器是基于漏桶算法。 limit_req_zone $binary_remote_add 阅读全文

摘要： 1. 令牌桶按用户维度限流 前文golang/x/time/rate演示了基于整体请求速率的令牌桶限流； 那基于用户id、ip、apikey请求速率的限流(更贴近生产的需求)， 阁下又该如何应对？ 那这个问题就从全局速率变成了按照用户维度（group by userid）来做限流，那么 早先的全局的 阅读全文

摘要： CloudFlare介绍限速的文章， 讲述了限速的使用场景和运作方式。 最难的是构建一个既高效又匹配需求的算法。 1.流行的限速器 ① 固定窗口限速 Fixed Window Counter 跟踪固定时间间隔（如 1 分钟）内的请求数量，一旦达到上限，就会拒绝该窗口中的后续所有请求。 UserCas 阅读全文

摘要： kube-scheduler负责将k8s pod调度到worker节点上。 当你部署pod时，在manifest文件pod规格上会指定cpu、memory、亲和性affinity、污点taints、优先级、持久盘等。 调度器的主要工作是识别create request然后选择满足要求的最佳节点。 分 阅读全文

摘要： kong网关转发http服务，各大博主都已经聊包浆了。 kong网关原生支持代理gRPC请求，本文通过一个示例来记录通过kong网关管理gRPC服务，并且使用grpcbin和grpcurl哼哈二将来模拟和验证grpc服务能力。 kong网关核心的控制面实体： service ： 上游服务的抽象 ro 阅读全文

摘要： hello， 这是有态度马甲的第xxx篇原创口水文。有趣指数5颗星，有用指数5颗星。 😠😠本文是国外技术网站medium上点赞超过200+的翻译/笔记文，有关规避/解决幂等请求的编程指南。 1. 软件领域二次请求无法避免 我们生活的每时每刻都是独一无二的，事情/动作可能不会相同的形式再次发生。 阅读全文

摘要： 0. 私钥签名，公钥验签； 公钥加密，私钥解密 https协议依次用到了密码学中的三个核心概念 ： 数字签名 、非对称加密和对称加密。 这里面千万不要忽略 申请CA证书这关键前置步骤，不然后面的推理都是无根之木。 1> 给服务器域名申请证书（域名、有效期）， CA机构会返回证书 （域名、有效期、证书 阅读全文

摘要： 最近在倒腾“AI大模型基础设施”， 宏观目标是做一个基于云原生的AI算力平台，目前因公司隐私暂不能公开宏观背景和技术方案， 姑且记录实践中遇到的一些技能点。 前文已经记录了第1步： 使用arena 提交训练任务的实践。 今天我们记录聊一聊平台侧另一个核心能力： 动态纳管云原生k8s集群，并监听AI/ 阅读全文

摘要： 最近在倒腾“AI大模型基础设施”， 宏观目标是做一个基于云原生的AI算力平台，目前因公司隐私暂不能公开宏观背景和技术方案， 姑且记录实践中遇到的一些技能点。 Arena是阿里云开源的命令行工具，帮助算法开发者和数据科学家，在无需云原生技能的前提下，提交训练和评测任务、管控模型, 现在已经捐赠给kub 阅读全文