柯南君

[置顶] 基于spark Mllib(ML)聚类实战

摘要：写在前面的话：由于spark2.0.0之后ML中才包括LDA,GaussianMixture 模型，这里k-means用的是ML模块做测试，LDA,GaussianMixture 则用的是MLlib模块数据资料下载网站，大力推荐！！！ http://archive.ics.uci.edu/ml/d 阅读全文

posted @ 2016-08-08 18:05 柯南君阅读(8201) 评论(0) 推荐(2)

[置顶] 如何在windows下安装配置pyspark notebook

摘要：第一步：安装anaconda anaconda自带一系列科学计算包下载链接：http://pan.baidu.com/s/1b4jWlg 密码：fqq3 接着配置环境变量：如我安装在D盘下试一下命令行启动，确保ipython从anaconda启动第二步：安装spark（需要提前安装JDK）到阅读全文

posted @ 2016-08-05 11:18 柯南君阅读(6494) 评论(0) 推荐(0)

2016年10月9日

spark集群配置细则总结

摘要：修改目录与目录组： sudo chown -R hadoop:hadoop spark-1.6.1-bin-hadoop2.6 sudo chown -R hadoop:hadoop jdk1.8.0_101 sudo chown -R hadoop:hadoop scala2.11.6 1./et 阅读全文

posted @ 2016-10-09 15:32 柯南君阅读(3768) 评论(0) 推荐(0)

2016年8月22日

Linux最常用命令实战

摘要： 1.改变机器的名称： vim /etc/hostname Master 在文件中修改机器名称为我们想要的名称（相当于域名）可以通过shutdown -h now 关闭 2.查看当前机器IP： ifconfig 3.vim /etc/hosts 127.0.0.1 localhost 建立ip与域名阅读全文

posted @ 2016-08-22 18:03 柯南君阅读(522) 评论(0) 推荐(0)

2016年8月17日

基于mllib的协同过滤实战（电影推荐）

摘要： //某个人评分数据 //拆分训练集，校验集，测试集(ratings是(Int,Rating)格式，取values即可) 阅读全文

posted @ 2016-08-17 11:56 柯南君阅读(458) 评论(1) 推荐(1)

2016年8月16日

ubuntu下JDK安装（更新旧版本JAVA）

摘要： 1.sudo apt-get install openjdk-8-jre openjdk-8-jdk 2.默认会安装在路径为 /usr/lib/jvm/java-7-openjdk-amd64 下面 3。配置环境变量 vim ~/.bashrc export JAVA_HOME = /usr/li 阅读全文

posted @ 2016-08-16 21:46 柯南君阅读(4067) 评论(0) 推荐(0)

公告