摘要: KTransformers事件分析 一、技术突破:从“云端垄断”到“本地普惠” 1. 单卡运行千亿参数模型 KTransformers首次支持在单张24GB显存的RTX 4090显卡上运行DeepSeek-R1/V3的671B参数满血版,预处理速度达286 tokens/s,推理生成速度达14 to 阅读全文
posted @ 2025-02-17 08:54 cjh502 阅读(256) 评论(0) 推荐(0)
摘要: DeepSeek-R1-671B 部署指南 一、硬件配置 1. GPU(核心资源) 推荐型号: NVIDIA H100(显存带宽 3.35 TB/s) NVIDIA A100 80GB 多卡组合:8×H100 或 16×A100 显存需求: 全精度:约 1342GB Int8 量化:约 671GB 阅读全文
posted @ 2025-02-16 17:34 cjh502 阅读(1329) 评论(0) 推荐(1)
摘要: 1、先配置好两个互联网信息 2、目的路由需要设置为:权重以及优先级保持一致,访问的目的地址是0.0.0.0/0 3、在对象里配置监测对象,监控两个WAN口的网关。 4、在三口与七口高级设置里分别设置好如图配置 5、配置出站负载均衡如图先配置好模版已经模式 6、关联出站均衡模版 阅读全文
posted @ 2025-02-10 09:03 cjh502 阅读(558) 评论(0) 推荐(0)