qccz123456

摘要： 硬件：ARM64 服务器 + 1卡A100GPU 软件： 1）NVIDIA-SMI 560.28.03 2）Driver Version: 560.28.03 3）CUDA Version: 12.6 # cuda_12.6.0_560.28.03_linux_sbsa.run 4) Python 阅读全文

摘要： LLM推理的后处理 LLM推理的后处理是将模型“原始”且可能“粗糙”的输出，转化为安全合规（道德合法等）、格式化、结构化的结果。 flowchart TD A[LLM生成原始文本] --> B[安全与质量过滤] subgraph B [安全与质量过滤] B1[内容安全过滤] B2[事实性核查] B3 阅读全文

摘要： 1 核心概念：Symbolic（符号式） vs. Imperative（命令式） 特性 Symbolic（符号式/声明式） Imperative（命令式） 核心思想 先定义，后执行。像画蓝图，先声明计算流程（计算图），然后再喂入数据执行。 边定义，边执行。像捏粘土，每个操作指令会立即执行并返回结果。 阅读全文

摘要： build_engine: trt.Builder(TRT_LOGGER) ↓ ↓ network config ↓ ↓ Snetwork Sconfig ↓ ↓ plan(serialized_network) runtime ↓ ↓ engine(deserialize_cuda_engine) 阅读全文

摘要： 1）SpecINT SepcJBB SpecPower SpecFloat 2）lmbench 3）STREAM 阅读全文

摘要：  阅读全文

摘要：  阅读全文

摘要： 概念篇 1.1 什么是推荐系统？ 1.1.1 能做什么？ 推荐系统可以把那些最终会在用户（User） 和物品（Item）之间产生的连接提前找出来。 强调 “连接”，人与任何其他的连接， 其他可指人、咨询、消费品、服务等。 1.1.2 需要什么？ 需要已经存在的连接，从已有的连接去预测未来的连接。 1 阅读全文

摘要： mkldnn的文件目录结构如下： doc/：文档说明，基本在 http://intel.github.io/mkl-dnn/index.html 中已经展示 advanced/：关于int8量化和版本更新的说明 build/: 关于build、build_options和link design/：关 阅读全文

摘要： embedding_column 和 feature column 是什么区别？ embedding_column是feature column的一种类型 embedding column体现在graph上和代码上是这样的 这是一个feature column的例子，能够能好的理解feature c 阅读全文