随笔分类 -  Scala

 
idea构建spark开发环境,并本地运行wordcount
摘要:1、首先现在idea,官网:https://www.jetbrains.com/idea/ 2、安装jdk1.8,scala2.11 3、下载idea后,需要在idea中安装scala的插件,安装的方式如下: File >settings >Plugins >输入scala(下图是我已经安装好了) 阅读全文
posted @ 2018-07-17 10:52 ljy2013 阅读(1794) 评论(0) 推荐(0)
Mac上配置maven+eclipse+spark开发环境
摘要:1、安装jdk 2、下载scala-ide。官网:http://scala-ide.org 3、安装maven 4、在eclipse中,配置maven的安装了路径。偏好设置 >maven >installpath 5、修改maven的镜像文件,即setting.txt中的mirror。具体修改为如下 阅读全文
posted @ 2017-03-11 00:05 ljy2013 阅读(1547) 评论(0) 推荐(0)
将本地代码上传至github备份的操作方法
摘要:这篇文章写得是windows下的使用方法。 第一步:创建Github新账户 第二步:新建仓库 第三步:填写名称,简介(可选),勾选Initialize this repository with a README选项,这是自动创建REAMDE.md文件,省的你再创建。 第四步:安装Github she 阅读全文
posted @ 2016-05-31 23:11 ljy2013 阅读(2793) 评论(0) 推荐(0)
Spark的WorkCount的例子
摘要:之前为了搭建scala开发spark的环境花了几天的时间,终于搞定了,具体可以参考:http://www.cnblogs.com/ljy2013/p/4964201.html 。下面就是用一个示例来测试自己的开发环境了,于是就只用了大数据比较经典的例子:WordCount。下面详细说明一下:1、首先... 阅读全文
posted @ 2015-11-16 15:18 ljy2013 阅读(6945) 评论(0) 推荐(1)
eclipse创建maven管理Spark的scala
摘要:说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。那么作为一个程序员首先是必须要把手中的宝剑给磨砺了。那就是创建好编写scala的代码环境。在这里由于我个人之前比较熟悉eclipse(虽然觉得他有点掉档次,踏实工具嘛,当然最好是选择... 阅读全文
posted @ 2015-11-14 13:08 ljy2013 阅读(1181) 评论(0) 推荐(0)