部分文章内容为公开资料查询整理，原文出处可能未标注，如有侵权，请联系我，谢谢。邮箱地址：gnivor@163.com ►►►需要气球么？请点击我吧！

11 2014 档案

Spark RDD API详解(一) Map和Reduce
摘要：本文由cmd markdown编辑，原始链接：https://www.zybuluo.com/jewes/note/35032RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组 的区别是，RDD中的... 阅读全文
posted @ 2014-11-25 19:34 流了个火 阅读(1540) 评论(0) 推荐(0)
资料Link集合
摘要：Spark RDD API详解(一) Map和Reduce| scala中Iterator的比较| 使用sbt构建scala应用| sbt常用命令| sbt更改默认ivy仓库位置| linux手动安装sbt过程| HiHeartFirst的下载中心| maven 教程一 入门| scalanlp/b 阅读全文
posted @ 2014-11-15 22:07 流了个火 阅读(335) 评论(0) 推荐(0)
Scala学习笔记--集合类型Queue,Set
摘要：补充知识：http://www.importnew.com/4543.html正文开始scala.collection.immutablescala.collection.mutable队列Queue val emp = scala.collection.immutable.Queue[Int... 阅读全文
posted @ 2014-11-14 21:59 流了个火 阅读(2057) 评论(0) 推荐(0)
Hadoop学习笔记-HDFS命令
摘要：进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use ... 阅读全文
posted @ 2014-11-11 16:57 流了个火 阅读(1315) 评论(0) 推荐(0)
Spark添加/更改集群节点需要修改的配置文件
摘要：笔记：在配置好了spark后，如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves，将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa... 阅读全文
posted @ 2014-11-11 13:08 流了个火 阅读(1650) 评论(0) 推荐(0)
Spark学习笔记-如何运行wordcount（使用jar包）
摘要：IDE：eclipseSpark:spark-1.1.0-bin-hadoop2.4scala:2.10.4创建scala工程，编写wordcount程序如下package com.luogankun.spark.baseimport org.apache.spark.SparkConfimport... 阅读全文
posted @ 2014-11-09 22:07 流了个火 阅读(2937) 评论(0) 推荐(0)
Scala学习文档-列表的使用
摘要：注：列表是不可变的，不能通过赋值改变列表的元素 列表具有递归结构，数组是连续的 scala里的列表类型是协变的？ -->scala中的逆变与协变分治原则 //自定义实现:::操作符 def append[T](xs:List[T],ys:List[T]):List[T]={ xs ... 阅读全文
posted @ 2014-11-07 17:14 流了个火 阅读(354) 评论(0) 推荐(0)
Scala学习文档-各种使用模式的情况
摘要：模式在变量定义中 在定义val或者var的时候，可以使用模式替代简单的标识符，如可以使用模式拆分元组，并把每个值分配给变量val myTuple = (123,"abc")var (num,str) = myTuple 如此，num=123,str="abc" 如果知道正在使用的样本类的精确结... 阅读全文
posted @ 2014-11-06 22:10 流了个火 阅读(237) 评论(0) 推荐(0)
Scala学习文档-样本类与模式匹配(match,case,Option)
摘要：样本类：添加了case的类便是样本类。这种修饰符可以让Scala编译器自动为这个类添加一些语法上的便捷设定。//样本类case class//层级包括一个抽象基类Expr和四个子类，每个代表一种表达式//样本类自动添加与类名一致的工厂方法abstract class Exprcase class V... 阅读全文
posted @ 2014-11-06 16:02 流了个火 阅读(643) 评论(0) 推荐(0)
Scala学习文档-访问修饰符
摘要：在scala里，对保护成员的访问比Java严格。Scala中，保护成员只在定义了成员的类的子类中可以访问，而Java中，还允许在同一个包的其他类中访问。package p1 { class FClass{ protected def fun(){ println("myfunction") ... 阅读全文
posted @ 2014-11-04 17:33 流了个火 阅读(202) 评论(0) 推荐(0)
Scala学习笔记--特质trait
摘要：http://outofmemory.cn/scala/scala-trait-introduce-and-example与Java相似之处Scala类型系统的基础部分是与Java非常相像的。Scala与Java一样有单一的根类，Java通过接口来实现多重继承，而Scala则通过特征(trait)来... 阅读全文
posted @ 2014-11-03 19:29 流了个火 阅读(819) 评论(0) 推荐(0)

►►►需要气球么？请点击我吧！►►►
View My Stats