摘要:前言: 停滞了一段时间,现在要沉下心来学习点东西,出点货了。 本文没有JavaJDK ScalaSDK和 IDEA的安装过程,网络上会有很多文章介绍这个内容,因此这里就不再赘述。 一、在IDEA上安装Scala插件 首先打开IDEA,进入最初的窗口,选择Configure -——>Plugins 然 阅读全文
posted @ 2017-12-15 17:29 PurStar 阅读 (9139) 评论 (0) 编辑
摘要:0.简介 TopN算法是一个经典的算法,由于每个map都只是实现了本地的TopN算法,而假设map有M个,在归约的阶段只有M x N个,这个结果是可以接受的并不会造成性能瓶颈。 这个TopN算法在map阶段将使用TreeMap来实现排序,以到达可伸缩的目的。 当然算法有两种,一种是唯一键,就是说ke 阅读全文
posted @ 2017-01-21 12:36 PurStar 阅读 (2282) 评论 (0) 编辑
摘要:0.序 默认情况下,Zeppelin安装好并且配置完zeppelin-site.xml和zeppelin-env.sh后,我们进入的模式,从右上角就能看出来是anonymous模式,这种模式下会看见所有的notebook,这种情况下,如果是多个人在使用的很方便和安全。 这篇就是对zeppelin的一 阅读全文
posted @ 2017-01-20 11:45 PurStar 阅读 (407) 评论 (0) 编辑
摘要:0.序 说实在的这个功能太赞了 在一开始接触的时候不知道有这个功能,我尝试做一下配置,发现非常的棒。 棒的原因有两点: https://www.zeppelinhub.com/viewer/notebooks/bm90ZTovL3B1ci9qdXN0LWZvci1sZWFybmluZy16ZXBwZ 阅读全文
posted @ 2017-01-19 16:01 PurStar 阅读 (1375) 评论 (0) 编辑
摘要:0.序 先吐槽一下网上旧版本的Zeppelin和R的安装,让我折腾了几个小时。 不过最终还是调通了也不容易,其实我现在一点R都没有学呢,只是刚看了一节课,但是这个工具既然出现在了Spark中,我想它还是蛮流行和好用的。 之前配置了Zeppelin的Spark的结合,但是那没有配置R的部分,但是Zep 阅读全文
posted @ 2017-01-18 20:26 PurStar 阅读 (426) 评论 (0) 编辑
摘要:0.抱怨与其他(此部分与标题没有太多联系): 首先一点想说的是版本问题,为什么标题我会写清楚版本号呢!原因就是版本不对真的很会坑人。 就在写这篇博客的同一天,我还写了另一篇,是 Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程 坑人的地方在哪里呢,Zeppelin0.6.2不 阅读全文
posted @ 2017-01-17 20:11 PurStar 阅读 (2237) 评论 (0) 编辑
摘要:一、修改hosts文件 在主节点,就是第一台主机的命令行下; 我的是三台云主机: 在原文件的基础上加上; 其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点。 二、ssh互信(免密码登录) 注意我这里配置的是root用户,所以以下的家目录是/root 如果你配 阅读全文
posted @ 2017-01-17 16:26 PurStar 阅读 (36174) 评论 (3) 编辑
摘要:零、序(注意本部分与标题无太大关系,可直接翻到第一部分) 既然没用为啥会有序?原因不想再开一篇文章,来抒发点什么感想或者计划了,就在这里写点好了: 前些日子买了几本书,打算学习和研究大数据方面的知识,一直因为实习、考试、毕业设计等问题搞得没有时间,现在进入了寒假,可以安心的学点有用的知识了。 这篇博 阅读全文
posted @ 2017-01-14 23:42 PurStar 阅读 (3899) 评论 (0) 编辑
摘要:三种方式完成HelloWorld程序 分别采用在REPL,命令行(scala脚本)和Eclipse下运行hello world。 一、Scala REPL。 按照第一篇在windows下安装好scala后,直接Ctrl+R,然后在运行命令窗里输入scala,或者输入cmd后,进入命令行在输入scal 阅读全文
posted @ 2016-12-18 10:58 PurStar 阅读 (1246) 评论 (0) 编辑
摘要:Scala开发环境搭建 先讲几点我学习scala的目的或者原因吧: Scala的开发环境远比我想的要好搭建的多。下面就不说太多的废话了。 一、安装JDK。 由于Scala本省也是泡在JVM上的一种编程语言,所以要按装Scala编译器时,要先安装JDK,关于JDK的安装这里就不在赘述了,我以前也写过一 阅读全文
posted @ 2016-12-17 22:39 PurStar 阅读 (2242) 评论 (0) 编辑