2017年6月2日

LFM python 实现

摘要: 最近参加一个推荐算法比赛,想试一下LFM 来提高预测精度。自己尝试写了一个LFM 实现。 数据规模比较大时,性能较差。浮点运算会有超精度的情况。建议还是应该使用libfm. 参考公式 : 损式函数 梯度公式: 采用随机梯度下降 运行结果 阅读全文

posted @ 2017-06-02 17:32 张日海 阅读(3402) 评论(0) 推荐(0) 编辑

2016年10月12日

spark streaming 实时计算

摘要: spark streaming 实时计算框架 阅读全文

posted @ 2016-10-12 18:37 张日海 阅读(3491) 评论(0) 推荐(0) 编辑

2016年9月26日

hadoop 开发&调试

摘要: 写好的hadoop任务打成jar后,可以在服务器上用命令hadoop jar 提交。但开发阶段总不能一直用这种方式来调试,最好是在本机的ide 上可以直接debug。 如果在wiindow上配置一套开发调试环境,说实话真是觉得很不爽。为了以后方便,整理了一下windows 下hadoop开发环境的配 阅读全文

posted @ 2016-09-26 12:40 张日海 阅读(5735) 评论(1) 推荐(0) 编辑

2016年9月21日

spark 安装

摘要: 环境配置: ubuntu14.04.4-server 64位 jdk1.7.0_79 hadoop-2.6.0 spark-1.4.1 built for hadoop-2.6.0 spark 的环境部署的主要步骤: 1,机器和网络配置,这里使用VM VirtualBox构建两台虚拟机。 2,安装 阅读全文

posted @ 2016-09-21 14:26 张日海 阅读(768) 评论(0) 推荐(0) 编辑

2016年9月1日

maven 常用配置

摘要: maven 常用配置: 关于pom文件的配置问题,为了省得每次去网上找,把一些常用的配置记下来。 Maven 构建,本地Jar包的依懒问题 一般Maven会从官方仓库或公司仓库下载依懒包。如果是无法下载的本地jar包。可以用以下两种方式来配置 方法1:<scope>system</scope>显式提 阅读全文

posted @ 2016-09-01 11:02 张日海 阅读(546) 评论(0) 推荐(0) 编辑

2016年1月19日

矩阵SVD在机器学习中的应用

摘要: 本篇整理了一些SVD奇异值分解在机器学习中的应用:SVD奇异值分解SVD在推荐算法中的应用PCD 数据降维一个图片处理的例子SVD奇异值分解讲svd之前,先了解一下特征向理和特征值的概念。对于一个方阵M,如果有向量v 和 数值 λ ,Mv = λv,则 v 称为 M 的对应于特征值 λ 的特征向量。... 阅读全文

posted @ 2016-01-19 17:08 张日海 阅读(3383) 评论(0) 推荐(1) 编辑

2015年11月20日

机器学习—单变量线性回归

摘要: 本篇讲述以下内容: 单变量线性回归 代价函数 梯度下降 单变量线性回归 回顾上节,在回归问题中,我们给定输入变量,试图映射到连续预期结果函数上从而得到输出。单变量线性回归就是从一个输入值预测一个输出值。输入/输出的对应关系就是一个线性函数。 下面是一个根据房屋面积预测房屋价格的例子。 假设有一个数据 阅读全文

posted @ 2015-11-20 15:17 张日海 阅读(3024) 评论(0) 推荐(0) 编辑

2015年9月18日

Stanford机器学习

摘要: 前段时间跟着斯坦福大学的机器学习网络公开课进行学习。网站地址:https://www.coursera.org,授课老师是 吴恩达,英文名 Andrew Ng。课程非常好,并且涵盖了非常大的信息量。课后上完后,发现很有必要把一些这用的东西记下来。于是决定动手把之前学习的课程全整理一遍。首先了解下机器... 阅读全文

posted @ 2015-09-18 16:28 张日海 阅读(440) 评论(0) 推荐(0) 编辑

2015年2月11日

Memcached 安装和客户端配置

摘要: windows .NET 环境下Memcached 安装和客户端配置服务端安装:1:下载windows 版的Memcached 网上找链接2:解压到某个磁盘C:\memcache3:安装Memcached用cmd 进到C:\memcache输入 memcached.exe -d install 安装... 阅读全文

posted @ 2015-02-11 15:43 张日海 阅读(328) 评论(0) 推荐(1) 编辑

2014年12月10日

Lucene 学习之二:数值类型的索引和范围查询分析

摘要: Lucene 使用的是字符(词)类型的索引结构。对数值类型的索引和存储最终都要先转成字符类型。早期版本Lucene 没有封装数值类型的公共类。需要先直接将数字转成字符串再加到Field 中。JAVA代码:1 Document doc = new Document();2 long i = 12... 阅读全文

posted @ 2014-12-10 18:20 张日海 阅读(4778) 评论(0) 推荐(1) 编辑

导航