L先生AI课堂

2018年3月27日

摘要：一、前述怎么样对训练出来的模型进行评估是有一定指标的，本文就相关指标做一个总结。二、具体 1、混淆矩阵混淆矩阵如图：第一个参数true，false是指预测的正确性。第二个参数true,postitives是指预测的结果。相关公式：检测正列的效果：检测负列的效果：公式解释： fp_r 阅读全文

posted @ 2018-03-27 11:17 L先生AI课堂阅读(3352) 评论(0) 推荐(0)

【推荐系统篇】--推荐系统之测试数据

摘要：一、前述线上模型部分根据用户的行为数据进行推荐，相当于测试数据二、具体代码阅读全文

posted @ 2018-03-27 00:23 L先生AI课堂阅读(1006) 评论(0) 推荐(0)

2018年3月26日

【Dubbo篇】--Dubbo框架的使用

摘要：一、前述 Dubbo是一种提供高性能,透明化的RPC框架.是阿里开源的一个框架。官网地址：http://dubbo.io/ 二、架构组件解释： Provider: 提供者.发布服务的项目.Registry: 注册中心.所有提供者必须去注册中心注册自己所有能发布的服务.Consumer: 消费者. 阅读全文

posted @ 2018-03-26 21:19 L先生AI课堂阅读(476) 评论(0) 推荐(0)

【推荐系统篇】--推荐系统之训练模型

摘要：一、前述经过之前的训练数据的构建可以得到所有特征值为1的模型文件，本文将继续构建训练数据特征并构建模型。二、详细流程将处理完成后的训练数据导出用做线下训练的源数据（可以用Spark_Sql对数据进行处理）insert overwrite local directory '/opt/data/t 阅读全文

posted @ 2018-03-26 21:08 L先生AI课堂阅读(2027) 评论(0) 推荐(0)

【ElasticSearch篇】--ElasticSearch从初识到安装和应用

摘要：一、前述 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，在企业中全文搜索时，特别常用。二、常用概念 cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节阅读全文

posted @ 2018-03-26 18:08 L先生AI课堂阅读(921) 评论(0) 推荐(0)

【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程

摘要：一、前述根据前文中架构，本文我们讨论线下部分构建训练集部分。因为我们离线部分模型的选择是逻辑回归，所以我们数据必须有x和y. 二、具体流程 1.从数据库中分离出我们需要的数据。用户行为表（日志）用户历史下载表商品词表（商品的基本特征） 2.构建训练集中的关联特征流程： 2.构建训练集中的基阅读全文

posted @ 2018-03-26 18:06 L先生AI课堂阅读(1641) 评论(1) 推荐(0)

【推荐系统篇】--推荐系统介绍和基本架构流程

摘要：一、前述推荐系统是企业中常用的技术，所以系统的掌握推荐系统的知识是很有必要的。本专栏主要讲述手机APP下载的项目。常用的推荐方法有两个，分别是基于物品的推荐和基于用户的推荐。基于用户的推荐原理是：跟你喜好相似的人喜欢的东西你也很有可能喜欢（userBaseCF）。基于物品的推荐原理是：跟你喜欢阅读全文

posted @ 2018-03-26 11:19 L先生AI课堂阅读(832) 评论(0) 推荐(0)

2018年3月7日

【Python篇】---Python3.5在Centoos的安装教程--超实用

摘要：一、前述 Python3在公司用的还是比较多的，但一般Centoos默认是python2的环境。所以本文就python3的安装做个总结。二、具体 1、查看python版本python 命令即可 2、安装Python 的依赖包 yum install zlib-devel bzip2-devel o 阅读全文

posted @ 2018-03-07 21:05 L先生AI课堂阅读(278) 评论(0) 推荐(0)

【Spark篇】---Spark中Shuffle文件的寻址

摘要：一、前述 Spark中Shuffle文件的寻址是一个文件底层的管理机制，所以还是有必要了解一下的。二、架构图三、基本概念： 1) MapOutputTracker MapOutputTracker是Spark架构中的一个模块，是一个主从架构。管理磁盘小文件的地址。 MapOutputTracke 阅读全文

posted @ 2018-03-07 19:55 L先生AI课堂阅读(421) 评论(0) 推荐(0)

【Spark篇】---SparkSql之UDF函数和UDAF函数

摘要：一、前述 SparkSql中自定义函数包括UDF和UDAF UDF：一进一出 UDAF:多进一出（联想Sum函数）二、UDF函数 UDF:用户自定义函数，user defined function * 根据UDF函数参数的个数来决定是实现哪一个UDF UDF1，UDF2。。。。UDF1xxx * 阅读全文

posted @ 2018-03-07 19:32 L先生AI课堂阅读(5257) 评论(0) 推荐(0)

联想集团算法工程师一枚！ Get busy living, or get busy dying!!

公告