01 2019 档案

Idea问题：“marketplace plugins are not loaded”解决方案
摘要：博主本人遇见该问题时是想要通过Idea的plugins工具下载阿里巴巴的代码规约工具 但是在我点开settings，然后打开plugins工具时竟然给我提示“marketplace plugins are not loaded”！ 开什么玩笑，我手机还开着直播呢！经上网了解发现IDEA的模块系统加载 阅读全文
posted @ 2019-01-29 17:46 给你一个公主抱 阅读(21091) 评论(3) 推荐(0)
在Idea中添加自定义补全代码设置（Main方法为例）
摘要：一、打开File->setting->Editor->Live Templates 二、注意右边有“+”、“-”号，点击+号选择第二个Template Group...，并输入新组名Java，然后点OK 三、选中你新建的Java组，再点击右边的+号，选择第一个Live Template，在下方填入A 阅读全文
posted @ 2019-01-21 11:16 给你一个公主抱 阅读(2020) 评论(0) 推荐(0)
Scala-Unit7-Scala并发编程模型AKKA
摘要：一、Akka简介 Akka时spark的底层通信框架，Hadoop的底层通信框架时rpc。 并发的程序编写很难，但是Akka解决了spark的这个问题。 Akka构建在JVM平台上，是一种高并发、分布式、并且容错的应用工具包； Akka使用Scala语言编写，同时它提供了Scala和Java的开发接 阅读全文
posted @ 2019-01-20 01:54 给你一个公主抱 阅读(455) 评论(0) 推荐(0)
Scala-Unit6-final/type关键字、样例类&样例对象
摘要：一、关键字 1.final关键字 用final修饰的类：不能被继承 用final修饰的方法：不能被重写 注意：（1）在Scala中变量不需要用final修饰，因为val与var已经限制了变量是否可变 （2）final不能修饰特质，但是可以修饰抽象类 如图代码，Pig继承特质Animal后使用“ctr 阅读全文
posted @ 2019-01-17 18:59 给你一个公主抱 阅读(728) 评论(0) 推荐(0)
Scala-Unit5-Scala面对对象与模式匹配
摘要：Java中的面向对象：万物皆对象。 我们要封装数据，定义模板等操作，素以我们需要面向对象。 一、Scala中的单例对象 在java中用static关键字修饰方法或成员变量，作用是可以直接通过"类名."的方式调用方法或变量 在Scala中没有static关键字，Scala给我们提供了单例对象的模式来实 阅读全文
posted @ 2019-01-16 10:14 给你一个公主抱 阅读(425) 评论(0) 推荐(0)
Idea中快捷键与小技巧的总结-->持续更新
摘要：1.Scala类或单例对象中快速声明实例对象： eg. new SparkContext(conf).var 系统会自动提示，可以自动补全，如图： 2.ctrl+i与ctrl+o的区别: ctrl + i ：显示未实现的方法； ctrl + o：显示可以重写的方法 3.alt+insert 可以快速 阅读全文
posted @ 2019-01-13 10:36 给你一个公主抱 阅读(249) 评论(0) 推荐(0)
Spark-Unit2-Spark交互式命令行与SparkWordCount
摘要：一、Spark交互式命令行 启动脚本：spark-shell 先启动spark：./start-all.sh 本地模式启动命令：/bin/spark-shell 集群模式启动命令：/bin/spark-shell --master spark://spark-1:7077 --total-execu 阅读全文
posted @ 2019-01-13 10:26 给你一个公主抱 阅读(983) 评论(0) 推荐(0)
报错总结--持续更新
摘要：1.Caused by: java.lang.RuntimeException: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. 这是因为 阅读全文
posted @ 2019-01-13 01:09 给你一个公主抱 阅读(188) 评论(0) 推荐(0)
Spark-Unit1-spark概述与安装部署
摘要：一、Spark概述 spark官网：spark.apache.org Spark是用的大规模数据处理的统一计算引擎，它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。 mapreduce（MR）与spark的对比： 1.MR在计算中产生的结果存储在磁盘上，s 阅读全文
posted @ 2019-01-12 23:06 给你一个公主抱 阅读(436) 评论(0) 推荐(1)
Idea中在代码顶部添加自定义作者和时间
摘要：一、在工具栏找到File=>settings=>Editor=>File and Code Templates 二、选择右边的File Header,在编辑框中添加自定义信息，例如： 三、然后点击应用，保存就OK啦！ 阅读全文
posted @ 2019-01-12 21:43 给你一个公主抱 阅读(3444) 评论(0) 推荐(0)
Scala-Unit4-Scala数组/集合
摘要：一、Scala数组 1.数组的定义： 方法一：val arr = new Array[String](3) String代表数据的元素类型、3表示数组的长度 方法二：val arr = Array[Int](1,3,5,7) 修改数组某元素：arr(1) = 18 注意：数组的长度不可改变，arr 阅读全文
posted @ 2019-01-10 04:51 给你一个公主抱 阅读(361) 评论(0) 推荐(0)
scala-Unit-3-Scala基础语法2
摘要：一、定义方法、函数、及方法转换为函数 1.方法的定义： def 方法名（参数1：数据类型，参数2：数据类型...）:返回值类型 ={ } 2.定义函数： val h1 = (a:Int,b:Int) => {a * b} 3.方法转换为函数(在Windows下的命令行操作) def m2(a:Int 阅读全文
posted @ 2019-01-09 23:03 给你一个公主抱 阅读(305) 评论(0) 推荐(0)
Scala-Unit-2-Scala基础语法1
摘要：一、Scala程序的开始->HelloScala 这里的操作如同java的helloworld程序，直接放代码！ 在命令行操作中输入命令: scalac HelloScala.scala scala HelloScala 二、Scala的数据类型 Scala与java相同，有八种基本数据类型： By 阅读全文
posted @ 2019-01-05 21:14 给你一个公主抱 阅读(832) 评论(0) 推荐(0)
Scala-Unit-1-概述及安装
摘要：一、Scala简介 官网：www.scala-lang.org Scala语言很强大，它集成了面对对象和函数式编程的特点，并且运行在JVM(Java Virtual Machine)上，即必须安装jdk。 问题：学习大数据为什么Scala语言？ 因为大数据的一个重要组件：spark是用Scala语言 阅读全文
posted @ 2019-01-05 20:21 给你一个公主抱 阅读(216) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示