摘要： 阿里移动推荐算法 参数 | threshold | f1 score | | learning_rate: 0.05 | 0.002 | 0.006936 learning_rate: 0.5 | 0.009 | 0.007584 learning_rate: 1.0 | 0.002 | 0.007 阅读全文

摘要： 近期在工作中使用tensorflow训练神经网络模型，使用方法简要记录。 环境配置 阅读全文

摘要： 1. 前端和后端的关系 前端代码html/js部署在static目录下，在用户发起浏览器请求时发送给用户。 浏览器在执行前端代码时，通过ajax向后端服务发送请求，填充数据，渲染页面，实现动态交互。 2. sessionId 当用户第一次发请求时，后端自动生成一个id在cookie中返回。 之后每次 阅读全文

摘要： 拉格朗日乘子法 约束优化问题 考虑约束最优化问题： 设 是定义在 空间上的连续可微函数，称 为约束优化问题的原问题。 拉格朗日极小极大问题 为了解决以上问题，首先引入广义拉格朗日函数（generalized Lagrange function） 其中， 可以证明，无约束优化问题 等价于原问题，称为广 阅读全文

摘要： AUC的本质 定义auc是roc曲线下的面积。其中，roc是横坐标为fpr，纵坐标是tpr的坐标系上的曲线。TPR(true positive rate)：所有正样本中被预测为正的比例FPR(false positive rate)：所有负样本中被预测为正的比例a. 对于相同的FPR，TPR越高越好。b. auc的值域在[0-1]之间。 本质定理：auc的值=任取一个正样本和负样本，正样... 阅读全文

摘要： sampling method 背景在贝叶斯框架下，利用后验分布对参数进行估计，也即其中（1）是参数的先验分布。（2）是似然分布，数据集的生成联合概率（3）是参数的后验分布。通常分布很复杂，所以可以采用sampling方法从中采样样本，表示后验分布。如计算参数的期望。其中是从中抽取的一组样本。 MCMC马尔科夫蒙特卡洛方法（MCMC）是最常用的采样技术。其关键是通过构造平稳分布为的马尔科... 阅读全文

摘要： logistic regression 基本概念 目标Input: dataset模型的参数是训练特别的，针对二分类问题，，则是伯努利分布，即其中，是事件发生的概率则代入到loss function，有基于梯度下降进行优化，有对sigmoid函数求导易得所以直观上（1）当时，不够大，需要施加正向的影响（2）反之亦然 正则化 阅读全文

摘要： xgboost 基本概念Given dataseta tree ensemble model uses K additive functions to predict the outputwhere, 是CART的集合优化目标其中，为正则项when train the model in additive manner, minimize the objective for 也即，拟合的是... 阅读全文

摘要： 实变函数论第二章 Lebesgue测度2.1 点集的Lebesgue外测度定义2.1 设，若是中可数个开矩体，且有则称为E的一个L-覆盖。我们称为点集的Lebesgue外测度。若的任意的L-覆盖均有则，否则定理2.1 中点集的外测度性质（1）非负性：（2）单调性：若（3）次可加性：2.2 可测集与测度定义2.2 设。若对任意的点集，有则称E为Lebesgue可测集，简称为可测集，其中称为试验集注... 阅读全文

摘要： EM1. 基本问题EM算法是解决带有隐变量模型的方法，基本的模型假设为由于引入了隐变量，使得我们无法通过对求偏导得到最优解。2. 推导根据jesen不等式，对于凹函数，有其中，，当且仅当时，“=”成立。而是凹函数，因此且时，等号成立，取得最紧的下界。也即因此，当取得最紧的下界时，任何使得下界提升的都能使提升3. 算法流程输入：观测变量数据，隐变量数据，联合分布，条件分布输出：模型参数（1）选择参... 阅读全文