Random Walk

摘要： Hierarchical clustering, k means and DBSCAN 聚类是针对给定的样本, 依据它们特征的相似度或距离, 将其归并到若干个 "类" 或 "簇" 的数据分析问题. 假设有 $n$ 个样本, 每个样本有 $m$ 个属性, 样本集合用 $m\times n$ 的矩阵 $ 阅读全文

摘要： 最直观的方法是先排序再取中位数, 时间复杂度 $O(n\log n)$. 然而最近才得知中位数有时间复杂度 $O(n)$ 的算法, 事实上任意顺序统计量都可以用 $O(n)$ 时间找出. In Expected Linear Time 记待排序的数列 $A = [a_0, \dots, a_{n 1 阅读全文

摘要： 考虑 $x$, $y$ 分别是 $n$, $m$ 维列向量, $A$ 是 $m\times n$ 矩阵, $z$ 是标量. Numerator Layout 想象分子不变, 分母转置. Vector by vector 符合直观. Jacobian. $$ \frac{\partial y}{\pa 阅读全文

摘要： FNN 难以处理时序数据, 比如视频, 语音, 文本等. 时序数据的长度一般是不固定的, 而 FNN 要求输入和输出的维数都是固定的. 因此对这些问题需要能力更强的模型. 如果把 FNN 类比为 Markov chain, 那么 RNN 就是 non Markovian 的. RNN 的输入与过去一 阅读全文

摘要： CNN 最早主要用来处理图像信息. 如果用全连接 (fully connected) FNN 来处理, 则会有以下问题: 1. 参数太多: 这会导致训练效率低下, 容易过拟合. 2. 局部不变性特征: 自然图像中的物体都具有局部不变性特征, 比如 scaling, shifting and rota 阅读全文

摘要： 每一层的神经元仅接受前一层神经元的输出, 并输入到下一层神经元, 神经元间的连接不会形成环. 有种 Markov chain 的味道. $L$: 层数; $m^{(l)}$: 第 $l$ 层神经元的个数; $f_l$: 第 $l$ 层 activation function; $W^{(l)}$: 阅读全文

摘要： ACC, Precision and Recall 这些概念是针对 binary classifier 而言的. 准确率 (accuracy) 是指分类正确的样本占总样本个数的比例. 精确率 (precision) 是指分类正确的正样本占预测为正的样本个数的比例. 是针对预测而言的. 在信息检索领域 阅读全文

摘要： Updated on July 12, 2019 3 Traversal Methods In pre order each parent node is visited before (pre) its children. In in order each parent node is visit 阅读全文

摘要： This post will be updated irregularly. Last update date: Aug 6, 2019 Strings This is inefficient because a new string gets created upon each pass. Use 阅读全文

摘要： Templates These templates come from "LeetCode explore card for binary search" . Tips The tip below comes from "LeetCode 278. First Bad Version" . If y 阅读全文