摘要：GNN 101 姚伟峰 http://www.cnblogs.com/Matrix_Yao/ GNN 101 Why Graph无处不在 Graph Intelligence helps It’s the right time now! What 如何建模图 Different Types of G 阅读全文

摘要：Transformer block拆解 基本结构 Zoom in Feed Forward子模块 典型模型基本参数 References 基本结构 basic参数 or : total number of transformer blocks or : number of units in each 阅读全文

摘要：大得不同：推荐系统模型与NLP模型 推荐系统和自然语言处理是大模型高发的两大应用领域，在大的特征下，它们又有各自的特点。下面以推荐系统的代表模型DLRM(Deep Learning Recommendation Model)和GPT-3(Generative Pre-Training)为例说明。 D 阅读全文

摘要：问题 客户在其环境中发现推理延时毛刺问题，如下： 模型为ResNet-152 v1 FP32推理。 从log可见，抖动出现的频率还比较高，且双路时抖动时延高达平均时延的20倍左右，已经会影响客户的SLA(Service Level Agreement)。 初步排查 环境是裸机还是云主机? 裸机 绑核 阅读全文

摘要：深度学习推理性能优化 推理性能优化: 一个越来越重要的话题 一些初期的探索和经验 推理优化四部曲 算子优化 图优化 模型压缩 部署优化 前方的路 References 推理性能优化: 一个越来越重要的话题 为什么我们开始关注和重视推理性能的优化。 天时 深度学习的上半场主题是自证, 数据科学家们设计 阅读全文

摘要：Winograd Convolution 推导 - 从1D到2D Winograd Convolution 推导 - 从1D到2D 1D Winograd 卷积 2D Winograd卷积 实操粉 理论粉 参考文献 1D Winograd 卷积 1D Winograd算法已经有很多文章讨论了，讨论得 阅读全文

摘要：Res-Family: From ResNet to SE-ResNeXt 姚伟峰 http://www.cnblogs.com/Matrix_Yao/ Res-Family: From ResNet to SE-ResNeXt ResNet(2015 Dec) Paper Network Visu 阅读全文

摘要：深度学习专题 - 计算机视觉中的目标检测 姚伟峰 [yaoweifeng0301@126.com] http://www.cnblogs.com/Matrix_Yao/ 深度学习专题 - 计算机视觉中的目标检测 目标检测解决什么问题 目标检测的评价标准 Accuracy mAP (mean Aver 阅读全文

摘要：深度学习框架演进史 姚伟峰 http://www.cnblogs.com/Matrix_Yao/ 深度学习框架演进史 第一代 - 要有光 第二代 - 要有图 第三代 - 要自由 故事没有结束…… 以古为鉴，可以知兴替。-《新唐书 魏征传》 本文主要从设计思路上分析，不考虑生态、分布式等其他应用角度。 阅读全文

摘要：深度学习Stack 为什么提出NNVM？ 深度学习Stack 为什么提出NNVM？ 深度学习框架现状 - “碎片化” 目前，深度学习应用框架呈现出高度的“碎片化(fragmentation)”倾向，这主要是由于下述两个原因： 1. 深度学习正处于商业应用的前期阶段并具有诱人的商业想象力。诱人的商业前 阅读全文

摘要：最近一直被人问这个，索性画张图，省得一遍一遍解释。 阅读全文

摘要：“信息过载”与推荐系统 茫茫的互联网中有越来越多的海量内容，而且这些内容的增长速度已经超越了人类大脑容量的处理速度，我们把这个问题叫做“信息过载”。 我们需要相应的技术手段来帮助我们处理“信息过载”问题。解决或者缓解“信息过载”问题的核心是需要一个漏斗来减少最终呈现给用户的信息数量（即 N -> 1 阅读全文

摘要：机器学习算法 - Decision Tree 机器学习算法 - Decision Tree Why 决策树的生成 分类树 信息增益(Information Gain, IG) 基尼指数(Gini Index) 回归树 决策树的剪枝 预剪枝 后剪枝 基于训练集的剪枝 基于验证集的剪枝 实践中的问题 数 阅读全文

摘要：Deduction 全连接结构中的符号定义如下图： Forward Propagation Backward Propagation Follow Chain Rule, define loss function , so we have: Here we define ，下面分别介绍这两个偏导项如 阅读全文

摘要：FireCaffe Forrest N. Iandola FireCaffe: near-linear acceleration of deep neural network training on computer clusters 2016.1 Problem statements from d 阅读全文