SOULXU

摘要： 各种优化器SGD，AdaGrad，Adam，LBFGS都做了什么？ 优化的目标是希望找到一组模型参数，使模型在所有训练数据上的平均损失最小。对于参数的迭代更新$\theta \leftarrow \theta -\eta g$，主要是从两个方面，一个是梯度修正$g$，一个是学习率$\eta$调整。基 阅读全文

摘要： HNSW 解决的问题：做高效率相似性查找。推荐系统中，如何找到与用户query最相近的几个item，然后推荐出去。 解决方法有：Annoy，KD-Tree， LSH， PQ，NSW， HNSW等。 近似最近邻搜索算法（Approximate Nearest Neighbor Search，ANNS） 阅读全文