04 2017 档案

Output Operations on DStreams
摘要：print():打印DStream中的前10行数据 saveAsTextFiles(prefix, [suffix])：保存成文本文件到prefix指定的目录下，后缀为suffix saveAsObjectFiles(prefix, [suffix]) ：保存DStream数据为 SequenceF 阅读全文
posted @ 2017-04-28 17:41 天之涯0204 阅读(194) 评论(0) 推荐(0)
Window Operations详解
摘要：window(windowLength, slideInterval)：返回窗口长度为windowLength，每隔slideInterval滑动一次的window DStream countByWindow(windowLength, slideInterval)：返回窗口中元素的个数 reduc 阅读全文
posted @ 2017-04-28 15:18 天之涯0204 阅读(989) 评论(0) 推荐(0)
Window Operations
摘要：Window Operations 有点类似于Storm中的State，可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态,可以对一段时间的数据进行处理。 如图window length 为3秒sliding interval 为2秒batch interval of th 阅读全文
posted @ 2017-04-28 11:42 天之涯0204 阅读(261) 评论(0) 推荐(0)
Spark Streaming Transformations
摘要：map(func)：对DStream中的所有的元素进行func转换生成新的DStream flatMap(func)：和map方法类似，先对DStream中的元素进行func运算，然后压平，就是说，如果有一个元素是集合或者数组，那么会被拆成一个一个的元素 filter(func)：对DStream中 阅读全文
posted @ 2017-04-28 11:28 天之涯0204 阅读(164) 评论(0) 推荐(0)
Spark Streaming 单词计数
摘要：Receiver 从数据源接收数据，然后把数据存储在内存中供spark streaming使用，在本地运行spark streaming不能设置master为local或者local[1]，此时运行的线程只有一个，因为需要一个线程去运行Receiver接收数据，因此，就没有线程去处理数据了 代码 使 阅读全文
posted @ 2017-04-28 10:11 天之涯0204 阅读(423) 评论(0) 推荐(0)
Spark Streaming
摘要：Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、Zero 阅读全文
posted @ 2017-04-28 09:21 天之涯0204 阅读(189) 评论(0) 推荐(0)
Spark Thrift Server
摘要：ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据。ThriftServer在启动的时候，会启动了一个SparkSQL的应用程序，而通过JDBC/ODBC连接进来的客户端共同分享这个SparkSQL应用程序的资 阅读全文
posted @ 2017-04-27 17:36 天之涯0204 阅读(2633) 评论(0) 推荐(0)
spark cli
摘要：Spark SQL CLI Spark1.1增加了Spark SQL CLI和ThriftServer SparkSQL CLI配置 1、创建并配置hive-site.xml 在运行Spark SQL CLI中需要使用到Hive Metastore，故需要在Spark中添加其uris。具体方法是在S 阅读全文
posted @ 2017-04-27 17:12 天之涯0204 阅读(211) 评论(0) 推荐(0)
spark sql 操作
摘要：DSL风格语法 1、查看DataFrame中的内容 2、查看DataFrame部分列的数据 3、查看DataFrame schema信息 4、查询name和age并将age + 1 5、过滤年龄大于20的人 6、按年龄分组，并统计年龄相同的人数 SQL风格 在使用SQL风格前，首先需要将DataFr 阅读全文
posted @ 2017-04-27 14:45 天之涯0204 阅读(393) 评论(0) 推荐(0)
spark sql 创建DataFrame
摘要：SQLContext是创建DataFrame和执行SQL语句的入口 通过RDD结合case class转换为DataFrame 1、准备：hdfs上提交一个文件，schema为id name age，内容如下 2、打开spark-shell命令行，执行如下 阅读全文
posted @ 2017-04-27 11:28 天之涯0204 阅读(305) 评论(0) 推荐(0)
spark sql
摘要：什么是spark SQL spark SQL是spark处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame,并作为分布式SQL查询引擎来使用。 spark SQL和 hive SQL hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的复 阅读全文
posted @ 2017-04-27 10:24 天之涯0204 阅读(165) 评论(0) 推荐(0)
RDD缓存
摘要：RDD的缓存 Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存是Spark最重要的特征之一。可以 阅读全文
posted @ 2017-04-26 18:24 天之涯0204 阅读(1028) 评论(0) 推荐(0)
RDD的依赖关系
摘要：RDD的依赖关系 子RDD和它依赖的父RDD（s）的关系有两种不同的类型，窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖 指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 宽依赖 指的是多个子RDD的Partitio 阅读全文
posted @ 2017-04-26 18:08 天之涯0204 阅读(371) 评论(0) 推荐(0)
RDD算子
摘要：创建RDD的两种方法 1、由scala集合创建val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))2、由外部存储系统的数据创建val rdd2 = sc.textFile("hdfs://m1:9000/words.txt") RDD的算子Transfo 阅读全文
posted @ 2017-04-26 17:11 天之涯0204 阅读(358) 评论(0) 推荐(0)
RDD
摘要：RDD（Resilient Distributed Dataset） 弹性分布式数据集是spark中最基本的数据抽象，它代表不可变的、可分区的、里面的数据可以进行并行计算的集合。RDD具有数据流模型的特点，自动容错，位置感知性调度和可伸缩性。RDD允许用户在查询数据时显示的将数据集缓存在内存中，后续 阅读全文
posted @ 2017-04-26 14:19 天之涯0204 阅读(284) 评论(0) 推荐(0)
hadoop分布式安装
摘要：1、上传2、解压 3、重命名 4、配置hadoop环境变量5、修改配置文件5.1、编辑hadoop-env.sh，修改JAVA_HOME 5.2、编辑core-site.xml修改如下 5.3、修改hdfs-site.xml，如下 5.4、修改mapred-site.xml，如下 5.4、修改yar 阅读全文
posted @ 2017-04-25 10:46 天之涯0204 阅读(154) 评论(0) 推荐(0)
docker ssh连接不上
摘要：docker ssh连接报下面的错 Last login: Thu Apr 13 09:17:23 2017 from localhost Connection to 127.0.0.1 closed. 解决方法修改vi /etc/ssh/sshd_config，修改UsePAM no，重新启动即可 阅读全文
posted @ 2017-04-14 11:56 天之涯0204 阅读(2216) 评论(0) 推荐(0)
hbase数据模型
摘要：数据模型 Row Key 与nosql数据库一样,row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式：1.通过单个row key访问2.通过row key的range（正则）3.全表扫描Row key行键 (Row key)可以是任意字符串(最大长度 是 64KB，实 阅读全文
posted @ 2017-04-10 14:57 天之涯0204 阅读(310) 评论(0) 推荐(0)
redis命令行命令
摘要：配置文件设置密码认证 修改redis.conf去掉#requirepass foobared前面的#，foobared就是密码，可以进行修改 redis命令设置密码认证config set requirepass my_redis 连接相关命令 quit: 断开连接auth：简单密码认证 持久化 s 阅读全文
posted @ 2017-04-01 17:58 天之涯0204 阅读(467) 评论(0) 推荐(0)
redis安装
摘要：redis简介 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且 阅读全文
posted @ 2017-04-01 16:47 天之涯0204 阅读(3000) 评论(0) 推荐(0)