随笔分类 - spark
摘要：定义 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途
阅读全文
摘要：简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver 使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Sp
阅读全文
摘要：1、安装logstash，直接解压即可 测试logstash是否可以正常运行 只获取消息 2、编写logstash配置文件2、1在logstash目录下创建conf目录2、2在conf目录下创建文件logstash.conf,内容如下 logstash input: https://www.elas
阅读全文
摘要：flume配置文件 flume_to_kafka.conf kafka 1、启动kafka 2、创建spark topic 启动flume 测试是否可以正常消费到数据 代码实现
阅读全文
摘要：print():打印DStream中的前10行数据 saveAsTextFiles(prefix, [suffix])：保存成文本文件到prefix指定的目录下，后缀为suffix saveAsObjectFiles(prefix, [suffix]) ：保存DStream数据为 SequenceF
阅读全文
摘要：window(windowLength, slideInterval)：返回窗口长度为windowLength，每隔slideInterval滑动一次的window DStream countByWindow(windowLength, slideInterval)：返回窗口中元素的个数 reduc
阅读全文
摘要：Window Operations 有点类似于Storm中的State，可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态,可以对一段时间的数据进行处理。 如图window length 为3秒sliding interval 为2秒batch interval of th
阅读全文
摘要：map(func)：对DStream中的所有的元素进行func转换生成新的DStream flatMap(func)：和map方法类似，先对DStream中的元素进行func运算，然后压平，就是说，如果有一个元素是集合或者数组，那么会被拆成一个一个的元素 filter(func)：对DStream中
阅读全文
摘要：Receiver 从数据源接收数据，然后把数据存储在内存中供spark streaming使用，在本地运行spark streaming不能设置master为local或者local[1]，此时运行的线程只有一个，因为需要一个线程去运行Receiver接收数据，因此，就没有线程去处理数据了 代码 使
阅读全文
摘要：Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、Zero
阅读全文
摘要：ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据。ThriftServer在启动的时候，会启动了一个SparkSQL的应用程序，而通过JDBC/ODBC连接进来的客户端共同分享这个SparkSQL应用程序的资
阅读全文
摘要：Spark SQL CLI Spark1.1增加了Spark SQL CLI和ThriftServer SparkSQL CLI配置 1、创建并配置hive-site.xml 在运行Spark SQL CLI中需要使用到Hive Metastore，故需要在Spark中添加其uris。具体方法是在S
阅读全文
摘要：DSL风格语法 1、查看DataFrame中的内容 2、查看DataFrame部分列的数据 3、查看DataFrame schema信息 4、查询name和age并将age + 1 5、过滤年龄大于20的人 6、按年龄分组，并统计年龄相同的人数 SQL风格 在使用SQL风格前，首先需要将DataFr
阅读全文
摘要：SQLContext是创建DataFrame和执行SQL语句的入口 通过RDD结合case class转换为DataFrame 1、准备：hdfs上提交一个文件，schema为id name age，内容如下 2、打开spark-shell命令行，执行如下
阅读全文
摘要：什么是spark SQL spark SQL是spark处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame,并作为分布式SQL查询引擎来使用。 spark SQL和 hive SQL hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的复
阅读全文
摘要：DAG的生成 DAG(Directed Acyclic Graph) 叫做有向无环图，原始的RDD通过一系列的转换就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能
阅读全文
摘要：RDD的缓存 Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存是Spark最重要的特征之一。可以
阅读全文
摘要：RDD的依赖关系 子RDD和它依赖的父RDD（s）的关系有两种不同的类型，窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖 指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 宽依赖 指的是多个子RDD的Partitio
阅读全文
摘要：创建RDD的两种方法 1、由scala集合创建val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))2、由外部存储系统的数据创建val rdd2 = sc.textFile("hdfs://m1:9000/words.txt") RDD的算子Transfo
阅读全文
摘要：RDD（Resilient Distributed Dataset） 弹性分布式数据集是spark中最基本的数据抽象，它代表不可变的、可分区的、里面的数据可以进行并行计算的集合。RDD具有数据流模型的特点，自动容错，位置感知性调度和可伸缩性。RDD允许用户在查询数据时显示的将数据集缓存在内存中，后续
阅读全文
浙公网安备 33010602011771号