02 2019 档案

spark记录（4）spark算子之Action
摘要：Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序中有几个Action类算子执行，就有几个job运行。 （1）reduce reduce其 阅读全文
posted @ 2019-02-26 21:56 kpsmile 阅读(516) 评论(0) 推荐(0)
Spark常用算子详解
摘要：Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要 阅读全文
posted @ 2019-02-25 22:38 kpsmile 阅读(18108) 评论(1) 推荐(1)
spark记录（3）spark算子之Transformation
摘要：一、map、flatMap、mapParations、mapPartitionsWithIndex 1.1　map map十分容易理解，他是将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从而生成一个新的JavaRDD。 （1）　使用Java进行编写 （2）　使用sca 阅读全文
posted @ 2019-02-24 23:32 kpsmile 阅读(723) 评论(0) 推荐(0)
spark记录（2）spark广播变量与累加器
摘要：转自：https://www.cnblogs.com/qingyunzong/p/8890483.html 一、概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每 阅读全文
posted @ 2019-02-24 17:05 kpsmile 阅读(512) 评论(0) 推荐(0)
spark记录（1）spark Core之RDD
摘要：部分摘自：https://www.cnblogs.com/qingyunzong/p/8899715.html Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式 阅读全文
posted @ 2019-02-22 23:44 kpsmile 阅读(532) 评论(0) 推荐(0)
spark记录（0）Spark初始
摘要：部分摘自：https://www.cnblogs.com/qingyunzong/p/8886338.html 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开 阅读全文
posted @ 2019-02-22 21:55 kpsmile 阅读(265) 评论(0) 推荐(0)
scala记录（5）Actor Model
摘要：1概念理解 Actor Model是用来编写并行计算或分布式系统的高层次抽象（类似java中的Thread）让程序员不必为多线程模式下共享锁而烦恼,被用在Erlang 语言上, 高可用性99.9999999 % 一年只有31ms 宕机Actors将状态和行为封装在一个轻量的进程/线程中，但是不和其他 阅读全文
posted @ 2019-02-14 15:31 kpsmile 阅读(268) 评论(0) 推荐(0)
scala记录（4）trait，模式匹配，样例类
摘要：1.Actor Model 1.1概念理解 Scala Trait(特征) 相当于 Java 的接口，实际上它比接口还功能强大。 与接口不同的是，它还可以定义属性和方法的实现。 一般情况下Scala的类可以继承多个Trait，从结果来看就是实现了多重继承，当继承多个trait时，第一个用extend 阅读全文
posted @ 2019-02-14 15:13 kpsmile 阅读(434) 评论(0) 推荐(0)
scala记录（3）字符串和集合
摘要：1字符串 1.1String 1.2StringBuilder 可变 1.3string操作方法举例 比较:equals 比较忽略大小写:equalsIgnoreCase indexOf：如果字符串中有传入的assci码对应的值，返回下标 2.集合 2.1数组 2.1.1创建数组 new Array 阅读全文
posted @ 2019-02-14 14:13 kpsmile 阅读(995) 评论(0) 推荐(0)
scala记录（2）scala函数
摘要：1.Scala函数的定义 有参函数 无参函数 注意点： l 函数定义语法 用def来定义 l 可以定义传入的参数，要指定传入参数的类型 l 方法可以写返回值的类型也可以不写，会自动推断，有时候不能省略，必须写，比如在递归函数中或者函数的返回值是函数类型的时候。 l scala中函数有返回值时，可以写 阅读全文
posted @ 2019-02-13 22:30 kpsmile 阅读(282) 评论(0) 推荐(0)
scala记录（1）scala基础
摘要：1.基础数据类型 2.常量和变量的声明 定义变量或者常量的时候，也可以写上返回的类型，一般省略，如：val a:Int = 10 常量不可再赋值 3.类和对象 类（class）： 对象(object)：不可以传参 有一篇详细的关于Object的博文：https://blog.csdn.net/ym0 阅读全文
posted @ 2019-02-13 21:03 kpsmile 阅读(270) 评论(0) 推荐(0)
scala记录（0）介绍
摘要：Scala介绍: Scala是一门多范式的编程语言，一种类似java的编程语言 [1] ，设计初衷是实现可伸缩的语言 [2] 、并集成面向对象编程和函数式编程的各种特性。 scala是基于Jvm的，完美兼容Java，是脚本类语言，但为什么说是脚本类语言呢，因为它运行过程如下: 源码 - scalac 阅读全文
posted @ 2019-02-13 20:16 kpsmile 阅读(232) 评论(0) 推荐(0)
ElasticSearch记录（0）详细梳理
摘要：转自：https://blog.csdn.net/makang110/article/details/80596017 题记： Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论…… 0. 带着 阅读全文
posted @ 2019-02-08 22:23 kpsmile 阅读(395) 评论(0) 推荐(0)
ElasticSearch记录（2）curl操作
摘要：新建和删除 Index 新建 Index，可以直接向 Elastic 服务器发出 PUT 请求。下面的例子是新建一个名叫weather的 Index。 服务器返回一个 JSON 对象，里面的acknowledged字段表示操作成功。 然后，我们发出 DELETE 请求，删除这个 Index。 数据操 阅读全文
posted @ 2019-02-08 22:22 kpsmile 阅读(644) 评论(0) 推荐(0)
ElasticSearch记录（1）底层原理
摘要：基本概念 转自：https://blog.csdn.net/zkyfcx/article/details/79998197 索引（Index） ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(sc 阅读全文
posted @ 2019-02-08 20:57 kpsmile 阅读(407) 评论(0) 推荐(0)