摘要：
Spark Streaming容错 检查点机制-checkpoint 什么是检查点机制？ Spark Streaming 周期性地把应用数据存储到诸如HDFS 或Amazon S3 这样的可靠存储系统中以供恢复时使用的机制叫做检查点机制 检查点机制的作用 控制发生失败时需要重算的状态数 Spark 阅读全文
posted @ 2017-06-05 15:27
大数据和AI躺过的坑
阅读(751)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ SparkStreaming的高层抽象DStream 为了便于理解，Spark Streaming提出了DStream抽象，代表连续不断的数据流。 DStream 是一个持续的RDD 序列。 可以从外部输入源创建DStream，也可以对其他DStream 应用进行转化操作得到新 阅读全文
posted @ 2017-06-05 15:10
大数据和AI躺过的坑
阅读(571)
评论(0)
推荐(0)
摘要：
SparkStreaming运行原理 Spark Streaming不断的从数据源获取数据(连续的数据流)，并将这些数据按照周期划分为batch。 Spark Streaming将每个batch的数据交给Spark Engine来处理(每个batch的处理实际上还是批处理，只不过批量很小，计算速度很 阅读全文
posted @ 2017-06-05 15:08
大数据和AI躺过的坑
阅读(365)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ Spark Streaming的竞争对手 Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个 阅读全文
posted @ 2017-06-05 14:58
大数据和AI躺过的坑
阅读(447)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 性能调优 Caching Data In Memory Spark SQL可以通过调用sqlContext.cacheTable("tableName") 或者dataFrame.cache()，将表用一种柱状格式（ an inmemory columnar format）缓 阅读全文
posted @ 2017-06-05 14:48
大数据和AI躺过的坑
阅读(722)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 用户自定义函数 注册udf 我们可以使用Spark 支持的编程语言编写好函数，然后通过Spark SQL 内建的方法传递进来，非常便捷地注册我们自己的UDF 在Scala 和Python 中，可以利用语言原生的函数和lambda 语法的支持，而在Java 中，则需要扩展对应的U 阅读全文
posted @ 2017-06-05 14:46
大数据和AI躺过的坑
阅读(1181)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ parkSQL作为分布式查询引擎：两种方式 除了在Spark程序里使用Spark SQL，我们也可以把Spark SQL当作一个分布式查询引擎来使用，有以下两种使用方式： 1.Thrift JDBC/ODBC服务 2.CLI SparkSQL作为分布式查询引擎：Thrift J 阅读全文
posted @ 2017-06-05 14:45
大数据和AI躺过的坑
阅读(1210)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ SparkSQL数据源：从各种数据源创建DataFrame 因为 spark sql，dataframe，datasets 都是共用 spark sql 这个库的，三者共享同样的代码优化，生成以及执行流程，所以 sql，dataframe，datasets 的入口都是 sqlC 阅读全文
posted @ 2017-06-05 14:42
大数据和AI躺过的坑
阅读(2803)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ Spark SQL支持的API SQL DataFrame(推荐方式，也能执行SQL) Dataset(还在发展) SQL SQL 支持basic SQL syntax/HiveQL 程序中使用SQL会返回DataFrame command-line和JDBC/ODBC中均可以 阅读全文
posted @ 2017-06-05 14:38
大数据和AI躺过的坑
阅读(546)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ Spark程序中使用SparkSQL 轻松读取数据并使用SQL 查询，同时还能把这一过程和普通的Python/Java/Scala 程序代码结合在一起。 CLI Spark SQL shell JDBC/ODBC 各种支持jdbc的软件、商业智能（BI）工具、平台 阅读全文
posted @ 2017-06-05 14:36
大数据和AI躺过的坑
阅读(592)
评论(0)
推荐(0)
浙公网安备 33010602011771号