随笔分类 - 技术
1
摘要：Spark的ml包提供了非常好用的调参功能，通过ParamGridBuilder构建待选参数（如：logistic regression的regParam），然后数据量小的时候可以用CrossValidator进行交叉验证，数据量大的时候可以直接用trainValidationSplit，这样Spa
阅读全文
摘要：为了MLib，最近是铁了心要学好Spark。关注本博客的朋友应该知道我的主力语言是R，无论是训练模型还是做Elasticsearch，都是通过R脚本来操作的。之前的《通过 Spark R 操作 Hive》这篇博文中我对通过R来操作Spark还存在幻想，实际使用之后基本放弃了这种想法，因为目前的Spa
阅读全文
摘要：初识Spark真的存在很多疑问：Spark需要部署在集群里的每个节点上吗？Spark怎么有这么多依赖，这些依赖分别又有什么用？官网里边demo是用sbt构建的，难道还有再学一下sbt吗？ ……就是这么多的问题令人对使用Spark望而生畏，最近总算认真刷了一下官方文档，在这篇blog里汇总整理一下这些
阅读全文
摘要：作为数据工程师，我日常用的主力语言是R，HiveQL，Java与Scala。R是非常适合做数据清洗的脚本语言，并且有非常好用的服务端IDE——RStudio Server；而用户日志主要储存在hive中，因此用HiveQL写job也是日常工作之一；当然R的执行效率确实不靠谱，因此还需要Java（El
阅读全文
摘要：最近的工作主要围绕文本分类，当前的解决方案是用R语言清洗数据，用tm包生成bag of words，用libsvm与liblinear训练模型。这个方案可以hold住6/70万的训练集： LIBLINEAR is efficient for large-scale document classifi
阅读全文
摘要：Java真的很重很复杂，连项目构建和编译都得专门拉出来学，这里整理一下在OS X上使用Maven的注意事项。 一、安装 [bash] 1.从http://maven.apache.org/download.cgi下载二进制文件，如： apache-maven-3.3.9-bin.zip 2.将文件解
阅读全文
摘要：搜索是一个需要不停改进的项目，有时我们需要更新分词插件，有时我们想升级ES版本，这些动作的生效都需要重启ES服务。我们当然不希望重启线上服务导致用户无法使用搜索功能，好在ES支持rolling upgrade的方式进行热更新，以下是操作步骤建议： [bash] // 1.确保每个Index至少有一份
阅读全文
摘要：虽然ES提供了replicas shards的机制来保证数据的完整性不会因为几个节点的奔溃而被破坏，但是定期的数据备份以备不时之需依然重要。此外，通过备份与恢复也可实现数据在不同集群间的迁移（直接复制data目录下的索引文件的做法我尝试过，但没有成功）。 备份的方式在官方文档里有清楚的交代：先创建仓
阅读全文
摘要：我现在专注于公司的搜索项目，初期框架选择时最后范围缩小到Elasticsearch（简称ES）与Solr之间，但考虑到ES从诞生的第一天就是面向分布式架构的，因此最终敲定ES。接下来有空时会整理一系列的ES使用心得，今天正好要在新节点上部署ES，顺便把部署的完整过程同步到博客里供大家参考： Elas
阅读全文
摘要：最近，我的工作重心是搜索项目。我们选用的搜索框架是Elasticsearch，ES从诞生第一天起就是面向分布式而构造的，因此跨服务器的文件同步问题随之而来。 此外，我使用R语言作为主要的脚本语言来配合ES使用（测试搜索效果、生成同义词文件等等），习惯上我会把R项目生成的文件放在R相关的目录下，因此还
阅读全文
摘要：在图形界面下习惯了双击.exe（或者.dmg）安装软件，到了Linux服务端可能会有很大的不适。此前，我都是直接Google，然后不管三七二十一地直接把安装命令丢到bash里，期待顺利安装…… 但今天当我要重装R语言的时候，由于以前是手工编译安装的，现在需要用yum来安装却总是出错（yum安装处理了
阅读全文
摘要：首先更新服务器： [bash firstline="1"] yum update [/bash] 查看系统当前的java版本： [bash firstline="2"] java -version [/bash] 如果发现是老版本，可以进一步查询系统已经安装的JDK： [bash firstline
阅读全文
摘要：这一节是Andrew对应用机器学习给出的建议，虽然没有数学公式，但却是十分重要的一课。 Debugging Learning Algorithms 假设要做一个垃圾邮件分类的模型，已经从海量的词汇表中选出一个较小的词汇子集（100个单词）作为特征。 用梯度上升算法实现了贝叶斯逻辑回归，但测试集的错误
阅读全文
摘要：稍微了解有监督机器学习的人都会知道，我们先通过训练集训练出模型，然后在测试集上测试模型效果，最后在未知的数据集上部署算法。然而，我们的目标是希望算法在未知的数据集上有很好的分类效果（即最低的泛化误差），为什么训练误差最小的模型对控制泛化误差也会有效呢？这一节关于学习理论的知识就是让大家知其然也知其所
阅读全文
摘要：SVM被许多人认为是有监督学习中最好的算法，去年的这个时候我就在尝试学习。不过，面对长长的公式和拗口的中文翻译最终放弃了。时隔一年，看到Andrew讲解SVM，总算对它有了较为完整的认识，总体思路是这样的：1.介绍间隔的概念并重新定义符号；2.分别介绍functional margins与geome
阅读全文
摘要：距离上一篇笔记竟然快要一个月了……希望这周能把cs229监督学习部分的知识搞定。 生成学习与判别学习 像逻辑回归，用hθ(x) = g(θTx) 直接地来建模 p(y|x; θ) ；或者像感知机，直接从输入空间映射到输出空间（0或1），它们都被称作判别学习（discriminative learni
阅读全文
摘要：为了给课程的前四讲画上一个句号，这里补充两个前四讲中NG大神提到过的模型。 The perceptron learning algorithm 感知机 模型： 从模型上来看感知机与逻辑回归十分相似，只不过逻辑回归的g函数是逻辑函数（又称sigmoid函数），它是一条从y值0到1的连续曲线。当z→∞，
阅读全文
摘要：一直听闻Logistic Regression逻辑回归的大名，比如吴军博士在《数学之美》中提到，Google是利用逻辑回归预测搜索广告的点击率。因为自己一直对个性化广告感兴趣，于是疯狂google过逻辑回归的资料，但没有一个网页资料能很好地讲清到底逻辑回归是什么。幸好，在CS229第三节课介绍了逻辑
阅读全文
摘要：应该是去年的这个时候，我开始接触机器学习的相关知识，当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器：决策树、朴素贝叶斯、SVM、神经网络、随机森林等等；另外较为认真地复习了统计学，学习了线性回归，也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习的
阅读全文
摘要：其实，激发起写博客冲动的是帝国时代2高清版的上市，最近在重温这款经典游戏使得我很想整理一下帝国里兵种相克关系与那些帝国的真实历史。不过，这个博客的初衷始终是技术博客，所以先压一压欲望，把之前欠的文章先发一发吧： 毕业论文我选择的主题是《基于数据挖掘的NBA球队建队方案研究》，期间我将basketba
阅读全文
1
浙公网安备 33010602011771号