强化学习（4）----简介
摘要：
视频：David Silver深度强化算法学习 +项目讲解 书籍：reinforcement learning 博客：https://blog.csdn.net/lagrangesk/article/details/80943045 一、强化学习 人类通常从与外界环境的交互中学习。 当我们在开车或者 阅读全文
posted @ 2020-07-23 16:56 吱吱了了 阅读(225) 评论(0) 推荐(0) 编辑
Mapreduce（8）---数据倾斜原因与解决方案（转）
摘要：
MapReduce 数据倾斜原因和解决方案（转） 1、记录第一个遇到的数据倾斜情况 类似词频统计，80%的单词相同，导致由一个reducer来处理。通过调大了reducerNum数量来解决。 2、记录第二个遇到的数据倾斜情况 当map中的key为IntWritable时比其为Text形式更易发生数据 阅读全文
posted @ 2020-07-20 17:27 吱吱了了 阅读(446) 评论(0) 推荐(0) 编辑
Mapreduce（7）----单元测试
摘要：
1.MRUnit 使用MRUnit框架进行单元测试，该框架对不同的测试对象使用不同的Driver，因此分为了：MapDriver、ReduceDriver和MapReduceDriver。 2. 代码： (1)主要的包： import org.apache.hadoop.mrunit.mapredu 阅读全文
posted @ 2020-07-20 16:30 吱吱了了 阅读(214) 评论(0) 推荐(0) 编辑
Mapreduce（6）----Input/OutputforMat格式设置
摘要：
MapReduce中的输入输出控制（转） —— InputFormat、OutputFormat、MultipleOutputs、GroupingComparator 1.InputFormat概述 MapReduce开始阶段，InputFormat类用来产生InputSplit，并基于Record 阅读全文
posted @ 2020-07-20 15:43 吱吱了了 阅读(347) 评论(0) 推荐(0) 编辑
mapreduce报错java.lang.InstantiationException
摘要：
一、报错信息： Exception in thread "main" java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.util.ReflectionUtils.newInstance( 阅读全文
posted @ 2020-07-20 14:14 吱吱了了 阅读(782) 评论(0) 推荐(0) 编辑
24、Conversion Rate Prediction via Post-Click Behaviour Modeling----ESM2（转）
摘要：
转自：https://www.kesci.com/home/project/5db112b475df5c002b225fd5/code 1、背景 一个包含推荐系统、用户行为的完整电商推荐流程如下图所示： 主要分为两个部分，一是推荐阶段，二是用户行为阶段。推荐阶段大都分为召回和精排两部分，精排之后有时 阅读全文
posted @ 2020-07-14 19:38 吱吱了了 阅读(766) 评论(0) 推荐(0) 编辑
jupyter notebook生成py文件
摘要：
在一个jupyter notebook中代码最后写入：并将jupyter notebook的文件名称也改为设定的文件名，最后执行以下代码即可生成。 try: !jupyter nbconvert --to python 文件名 except: pass 阅读全文
posted @ 2020-07-13 10:46 吱吱了了 阅读(2767) 评论(0) 推荐(0) 编辑
23、Youtube视频推荐中应用MMOE模型（Recommending What Video to Watch Next: A Multitask Ranking System）（转）
摘要：
一、摘要 这篇论文提出一个视频推荐领域的大规模的多目标排序系统，该系统主要面临几个挑战：1）多个竞争关系的目标；2）用户反馈的选择偏见（selective bias）。 本文探究了大量软-参数共享技术，例如MMoE，来有效的优化多目标排序。除此之外，本文还采用wide&deep框架来缓和选择偏见问题 阅读全文
posted @ 2020-07-09 16:57 吱吱了了 阅读(1673) 评论(0) 推荐(0) 编辑
22、谷歌MMOE多任务学习模型（转）
摘要：
文章发表在KDD 2018 Research Track上，链接为Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts。 一、摘要 多任务学习可被用在许多应用上，如推荐系统。如在电影 阅读全文
posted @ 2020-07-09 16:24 吱吱了了 阅读(3785) 评论(0) 推荐(0) 编辑
归纳偏置和选择性偏差
摘要：
一、归纳偏置 1、概念 inductive bias是关于目标函数的必要假设。 在机器学习中，很多学习算法经常会对学习的问题做一些假设，这些假设就称为归纳偏置(Inductive Bias)。 归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and ded 阅读全文
posted @ 2020-07-09 10:44 吱吱了了 阅读(2408) 评论(0) 推荐(0) 编辑