海的天空

摘要： 最近参加一个推荐算法比赛，想试一下LFM 来提高预测精度。自己尝试写了一个LFM 实现。 数据规模比较大时，性能较差。浮点运算会有超精度的情况。建议还是应该使用libfm. 参考公式 ： 损式函数 梯度公式： 采用随机梯度下降 运行结果 阅读全文

摘要： spark streaming 实时计算框架 阅读全文

摘要： 写好的hadoop任务打成jar后，可以在服务器上用命令hadoop jar 提交。但开发阶段总不能一直用这种方式来调试，最好是在本机的ide 上可以直接debug。 如果在wiindow上配置一套开发调试环境，说实话真是觉得很不爽。为了以后方便，整理了一下windows 下hadoop开发环境的配 阅读全文

摘要： 环境配置： ubuntu14.04.4-server 64位 jdk1.7.0_79 hadoop-2.6.0 spark-1.4.1 built for hadoop-2.6.0 spark 的环境部署的主要步骤： 1，机器和网络配置，这里使用VM VirtualBox构建两台虚拟机。 2，安装 阅读全文

摘要： maven 常用配置： 关于pom文件的配置问题，为了省得每次去网上找，把一些常用的配置记下来。 Maven 构建，本地Jar包的依懒问题 一般Maven会从官方仓库或公司仓库下载依懒包。如果是无法下载的本地jar包。可以用以下两种方式来配置 方法1：<scope>system</scope>显式提 阅读全文

摘要： 本篇整理了一些SVD奇异值分解在机器学习中的应用：SVD奇异值分解SVD在推荐算法中的应用PCD 数据降维一个图片处理的例子SVD奇异值分解讲svd之前，先了解一下特征向理和特征值的概念。对于一个方阵M，如果有向量v 和 数值 λ ，Mv = λv，则 v 称为 M 的对应于特征值 λ 的特征向量。... 阅读全文

摘要： 本篇讲述以下内容： 单变量线性回归 代价函数 梯度下降 单变量线性回归 回顾上节，在回归问题中，我们给定输入变量，试图映射到连续预期结果函数上从而得到输出。单变量线性回归就是从一个输入值预测一个输出值。输入/输出的对应关系就是一个线性函数。 下面是一个根据房屋面积预测房屋价格的例子。 假设有一个数据 阅读全文

摘要： 前段时间跟着斯坦福大学的机器学习网络公开课进行学习。网站地址：https://www.coursera.org，授课老师是 吴恩达，英文名 Andrew Ng。课程非常好，并且涵盖了非常大的信息量。课后上完后，发现很有必要把一些这用的东西记下来。于是决定动手把之前学习的课程全整理一遍。首先了解下机器... 阅读全文

摘要： windows .NET 环境下Memcached 安装和客户端配置服务端安装：1：下载windows 版的Memcached 网上找链接2：解压到某个磁盘C:\memcache3：安装Memcached用cmd 进到C:\memcache输入 memcached.exe -d install 安装... 阅读全文

摘要： Lucene 使用的是字符（词）类型的索引结构。对数值类型的索引和存储最终都要先转成字符类型。早期版本Lucene 没有封装数值类型的公共类。需要先直接将数字转成字符串再加到Field 中。JAVA代码：1 Document doc = new Document();2 long i = 12... 阅读全文