技术研究与问题解决

2019年6月19日

Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境

摘要：目标配置一个spark standalone集群 + akka + kafka + scala的开发环境。创建一个基于spark的scala工程，并在spark standalone的集群环境中运行。创建一个基于spark+akka的scala工程，并在spark standalone的集群环阅读全文

posted @ 2019-06-19 17:39 技术研究与问题解决阅读(236) 评论(0) 推荐(0)

2019年6月12日

java8函数式编程实例

摘要：什么是函数式编程函数式编程是java8的一大特色，也就是将函数作为一个参数传递给指定方法。别人传的要么是基本数据类型，要么就是地址引用，我们要穿一个“动作”。 Stream 说到函数式编程，就不得不提及Stream，Stream跟我们熟知的io流可不是同一个东西，泛指可以顺序执行或者并行执行的元阅读全文

posted @ 2019-06-12 21:04 技术研究与问题解决阅读(203) 评论(0) 推荐(0)

2019年6月11日

Oracle Parallel使用方法

摘要：一、并行查询并行查询允许将一个sql select语句划分为多个较小的查询，每个部分的查询并发地运行，然后将各个部分的结果组合起来，提供最终的结果，多用于全表扫描，索引全扫描等，大表的扫描和连接、创建大的索引、分区索引扫描、大批量插入更新和删除 1. 启用并行查询SQL> ALTER TABLE 阅读全文

posted @ 2019-06-11 17:40 技术研究与问题解决阅读(1641) 评论(0) 推荐(0)

Spark学习之路（二十二）SparkStreaming的官方文档

摘要：讨论QQ：1586558083 目录一、简介 1.1　概述 1.2　一个小栗子 2.2　初始化StreamingContext 2.3　离散数据流 (DStreams) 2.4　输入DStream和接收器 2.5　接收器可靠性二、基本概念 2.1　链接依赖项三、DStream支持的transf 阅读全文

posted @ 2019-06-11 12:06 技术研究与问题解决阅读(323) 评论(0) 推荐(0)

Spark学习之路（二十八）分布式图计算系统

摘要：讨论QQ：1586558083 目录一、引言二、图存储模式 2.1　边分割（Edge-Cut） 2.2　点分割（Vertex-Cut） 2.3　对比三、图计算模式 3.1　超步 3.2　Pregel模型——像顶点一样思考 3.3　GAS模型——邻居更新模型正文回到顶部一、引言在了解Gr 阅读全文

posted @ 2019-06-11 12:02 技术研究与问题解决阅读(192) 评论(0) 推荐(0)

Spark学习之路（二十七）图简介

摘要：讨论QQ：1586558083 目录一、图 1.1　基本概念二、术语 2.1　顶点和边 2.2　有向图和无向图 2.3　有环图和无环图 2.4　度、出边、入边、出度、入度 2.5　超步三、图处理技术 3.1　图数据库 3.2　图数据查询 3.3　图数据分析 3.4　图数据可视化正文回到顶部阅读全文

posted @ 2019-06-11 12:01 技术研究与问题解决阅读(218) 评论(0) 推荐(0)

Spark学习之路（二十三）SparkStreaming的官方文档

摘要：讨论QQ：1586558083 目录一、SparkCore、SparkSQL和SparkStreaming的类似之处二、SparkStreaming的运行流程 2.1　图解说明 2.2　文字解说三、SparkStreaming的3个组成部分四、　离散流（DStream）五、小栗子 5.1　阅读全文

posted @ 2019-06-11 12:00 技术研究与问题解决阅读(282) 评论(0) 推荐(0)

Spark学习之路（二十）SparkSQL的元数据

摘要：讨论QQ：1586558083 目录一、概述二、Spark-SQL脚本正文回到顶部一、概述 SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。换句话说阅读全文

posted @ 2019-06-11 11:58 技术研究与问题解决阅读(463) 评论(0) 推荐(0)

Spark学习之路（二十一）SparkSQL的开窗函数和DataSet

摘要： Spark学习之路（二十一）SparkSQL的开窗函数和DataSet 阅读全文

posted @ 2019-06-11 11:58 技术研究与问题解决阅读(275) 评论(0) 推荐(0)

Spark学习之路（十九）SparkSQL的自定义函数UDF

摘要：讨论QQ：1586558083 在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcatio 阅读全文

posted @ 2019-06-11 11:56 技术研究与问题解决阅读(359) 评论(0) 推荐(0)

公告