石头木

摘要： 对矩阵R的近似求解： 1. 其中，P矩阵维度：N*K；Q矩阵维度：M*K。前者为User在K维潜因子空间的表示；后者为Item在K维潜因子空间的表示。 2.预测评分，或者説近似评分为： 3. 损失函数为平方误差+L2正则项： ，其中为真实评分。 4.用梯度下降求解： 其中是学习率，是正则化参数。 5 阅读全文

摘要： 采用flink实时计算topn热门新闻，主程序参考自http://wuchong.me/blog/2018/11/07/use-flink-calculate-hot-items/，稍微整理了一下程序，数据可以从参考链接中下载。 import org.apache.flink.api.common. 阅读全文

摘要： 一．常见推荐模型 (一).简述 传统的基于内容的推荐算法，这种算法有效利用了推荐内容自身的特点，如商品的类别标签、新闻的分类标签、音乐的流派标签等，结合用户的历史行为，进行简单有效的推荐，这种方法需要提取商品的标签和用户的标签作为内容推荐的一种依据。 推荐系统的一个主流分支是基于协同过滤的推荐算法， 阅读全文

摘要： 一．排序目标 将暴光多的购买少的商品下沉 将高质量的商品尽量靠前 提高订单转化率等 如下图电商中，在商品名栏中输入商品名，点击查询，系统将把最相关物品先前排。 二．排序的演变 1.文本匹配阶段 2.人工加权阶段 打分公式： w1*score1+w2*score2+w3*score3+... = to 阅读全文

摘要： 假如有一款新闻APP，也有一些人在使用，这将会产生一些用户行为日志。我想根据这些用户日志构建一个画像系统，主要是新闻画像和用户画像，统计好这些画像，为个性化推荐做好铺垫。新闻画像和用户画像的一些常用特征如下： 一.news profile 这里可以采用json层次化表示一篇新闻，实时对抓取的新闻进行 阅读全文

摘要： 构建一个简单的在线学习pipeline，主要包括样本的生成，模型的训练等。众所周知腾讯开源的一个框架叫angel以及阿里的alink，这两个框架有很多算法模型，可以拿来直接使用。这里面当然也有像FTRL这样的在线更新模型，后期有机会可以利用angel和alink进行相关测试。 大数据处理采用Flin 阅读全文

摘要： 最近一直在尝试着分布式深度学习的架构，主要的原因一方面是几台机子全是1060卡，利用深度网络在较大数据样本上训练的效率极其低下，所以尝试着将几台机子做成分布式，看看能否提高训练效率；第二方面是有人习惯使用tensorflow，有人习惯使用keras，也有人喜欢使用pytorch等，虽然这些框架各自都 阅读全文

摘要： 一.在实体识别中，bert+lstm+crf也是近来常用的方法。这里的bert可以充当固定的embedding层，也可以用来和其它模型一起训练fine-tune。大家知道输入到bert中的数据需要一定的格式，如在单个句子的前后需要加入"[CLS]"和“[SEP]”，需要mask等。下面使用pad_s 阅读全文

摘要： import torch出现 ”from torch._C import * ImportError: DLL load failed: 找不到指定的模块“错误这里torch=1.0.1，torchvision=0.2.0。最后解决这个错误的手段是升级了numpy=1.17，python=3.6.3 阅读全文

摘要： 文本摘要主要分为抽取式和生成式，抽取式就是从文章中抽取重要的句子作为文章的核心，之前也利用该方法做过相关工作，方法也较简单和直接，但往往不够连贯；生成式即根据文章自动生成文章核心内容，一般训练语料的格式为:标题-文章，和机器翻译有点像，这种方法需要大量的训练语料并不断的调优，但这种方法有时候会产生莫 阅读全文