摘要:
我们要在 Higress 网关中编写 WebAssembly(wasm)插件,使得在 http 请求的各个阶段(requestHeader,requestBody,responseHeader,responseBody)能够将相应的请求或返回捕获进行业务逻辑的处理。具体到本比赛,主要需要实现的是缓存对大模型的请求(openai 接口的形式)在本地(或云数据库),并设计语义级别的缓存命中逻辑来实现降低响应请求且减少 token 费用的目的。 阅读全文
posted @ 2024-08-28 12:00
阿里云云原生
阅读(207)
评论(0)
推荐(0)
摘要:
RocketMQ 的目标,是致力于打造一个消息、事件、流一体的超融合处理平台。这意味着它需要满足各个场景下各式各样的要求,而批量处理则是流计算领域对于极致吞吐量要求的经典解法,这当然也意味着 RocketMQ 也有一套属于自己风格的批处理模型。 阅读全文
posted @ 2024-08-28 11:40
阿里云云原生
阅读(107)
评论(0)
推荐(0)
摘要:
阿里云微服务引擎及 API 网关 2024 年 7 月产品动态 阅读全文
posted @ 2024-08-28 11:02
阿里云云原生
阅读(40)
评论(0)
推荐(0)
摘要:
《阿里云云原生每月动态》,从趋势热点、产品新功能、服务客户、开源与开发者动态等方面,为企业提供数字化的路径与指南。 阅读全文
posted @ 2024-08-28 09:35
阿里云云原生
阅读(82)
评论(0)
推荐(0)
浙公网安备 33010602011771号