ML/DL 面试公式系列

公式推导系列

• 线性回归: 最小二乘, normal equation
• 逻辑回归: 最大似然损失函数
• SVM: 转换为对偶问题,软间隔,核函数,SMO
• EM: 隐变量的后验概率函数(Q函数,最大化下界)与最大似然估计交替优化
• 损失函数: logistic, softmax, hinge loss (与上面的有重叠)
• 反向传播: 递推关系式
• Softmax: Softmax及其损失函数反向传播

数值计算

• 朴素贝叶斯公式: 用于分类的后验概率, 假设条件是独立同分布
• 卷积感受野计算: 孔洞卷积, 卷积反向传播, 转置卷积的输入输出

其它

• Batch Norm: 原理, 优势, 实现, 推导, 多卡同步?
• 偏差方差分解: 误差=方差+偏差+噪声
• PCA与SVD
• LDA线性判别分析?

涉及到公式原理

• 权重初始化: Xavier/MSRA
• 深度学习优化算法: 参数更新方法

---

写给自己看

算法导论系列

• 手写快排: 快排-平均时间复杂度证明, 不难
• 手写堆排: 拎得清就好
• 手写归并: 多路归并
• 手写二分: 细节很重要. lower_bound & upper_bound
• 手写冒泡: 那么简单? 可以优化吗?
• 图论--最大流: Dijikstra,SPFA,Bellman-Ford,Johnson