mac下spark单机环境配置笔记
摘要:1.安装scala 从http://www.scala-lang.org下载scala-2.11.7.tgz并解压缩 将解压缩的文件夹用mv指令移动到/usr/local/share mv [scalapath] /usr/local/share 修改/etc/profile文件权限. sudo v
阅读全文
研究领域总结(二):稀疏——矩阵补全
摘要:I.定义 矩阵补全(Matrix Completion)是指如下一个问题: 有一个巨大的矩阵$X\in\mathbb{R}^{m\times n}$,然而人们只能观测到其中的部分元素。记观测到的矩阵为矩阵$M\in\mathbb{R}^{m\times n}$(没观测到的元素位置以$0$填充),则...
阅读全文
研究领域总结(一):稀疏——字典学习
摘要:Pre:面试发现自己老讲不条理自己的研究工作,还是要先梳理下。鉴于motivation,本文是侧重结构化的15分钟talk draft,而非务求详尽。有兴趣的欢迎私下讨论。Abstract:本文主要介绍稀疏模型相关,侧重于字典学习和具体应用。1.sparse background2.DL(DIcti...
阅读全文
word2vec学习 spark版
摘要:参考资料:http://ir.dlut.edu.cn/NewsShow.aspx?ID=291http://www.douban.com/note/298095260/http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03....
阅读全文
Spark 学习笔记:(四)MLlib基础
摘要:MLlib:Machine Learning Library。主要内容包括:数据类型统计工具summary statisticscorrelationsstratified samplinghypothesis testingrandom data generation分类和回归线性模型(SVM,逻...
阅读全文
Spark 学习笔记:(三)Spark SQL
摘要:参考:https://spark.apache.org/docs/latest/sql-programming-guide.html#overview http://www.csdn.net/article/2015-04-03/2824407Spark SQL is a Spark module...
阅读全文
Spark 学习笔记:(二)编程指引(Scala版)
摘要:参考: http://spark.apache.org/docs/latest/programming-guide.html 后面懒得翻译了,英文记的,以后复习时再翻。摘要:每个Spark application包含一个driver program来运行main函数,在集群上进行各种并行操作...
阅读全文
Spark学习笔记:(一)入门 glance
摘要:参考: http://spark.apache.org/docs/latest/quick-start.html其它资料: http://mojijs.com/2015/04/190845/index.htmlhttp://taoistwar.gitbooks.io/spark-developer...
阅读全文
机器学习导论(一) 基本概念
摘要:上海交通大学张志华老师的公开课《机器学习导论》,课程链接:http://ocw.sjtu.edu.cn/G2S/OCW/cn/CourseDetails.htm?Id=397ok,直奔主题,做好笔记。(一) 基本概念data mining 和 machine learning本质是一码事儿,ml更贴...
阅读全文