DiYong - 博客园

2019年8月26日

摘要： 1.1 返回时间类型 yyyy-MM-dd HH:mm:ss public static Date getNowDate() { Date currentTime = new Date(); SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); String dateString = formatter. 阅读全文

posted @ 2019-08-26 09:09 DiYong 阅读(20184) 评论(0) 推荐(0)

SQL关键字的执行顺序

摘要： Mysql执行顺序阅读全文

posted @ 2019-08-26 09:03 DiYong 阅读(2740) 评论(0) 推荐(0)

2019年8月23日

StructuredStreaming基础操作和窗口操作

摘要：一、流式DataFrames/Datasets的结构类型推断与划分 ◆ 默认情况下，基于文件源的结构化流要求必须指定schema，这种限制确保即使在失败的情况下也会使用一致的模式来进行流查询。 ◆ 对于特殊用例，可以通过设置spark.sql.streaming.schemaInference = 阅读全文

posted @ 2019-08-23 09:16 DiYong 阅读(1177) 评论(0) 推荐(0)

2019年8月22日

StructuredStreaming简单的例子（NewAPI）

摘要： StructuredStreaming简单的例子（NewAPI）（wordCount）阅读全文

posted @ 2019-08-22 16:21 DiYong 阅读(574) 评论(0) 推荐(0)

StructuredStreaming(New)

摘要：使用流式DataSets和流式DataFrames的API 流式DataFrames/Datasets的结构类型推断与划分阅读全文

posted @ 2019-08-22 14:47 DiYong 阅读(345) 评论(0) 推荐(0)

StructuredStreaming编程模型

摘要： ◆ 基本概念 ◆ 处理Event-time和Late Data ◆ 容错语义阅读全文

posted @ 2019-08-22 12:24 DiYong 阅读(231) 评论(0) 推荐(0)

SparkStreaming简单例子（oldAPI）

摘要： SparkStreaming简单例子 ◆ 构建第一个Streaming程序：　（wordCount） ◆ Spark Streaming 程序最好以使用Maven或者sbt编译出来的独立应用的形式运行。 ◆ 准备工作： 1.引入Spark Streaming的jar 2.scala流计算import 阅读全文

posted @ 2019-08-22 00:17 DiYong 阅读(376) 评论(0) 推荐(0)

2019年8月21日

SparkStreaming架构

摘要： SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。➢ 计算流程➢ 容错性➢ 实阅读全文

posted @ 2019-08-21 16:11 DiYong 阅读(177) 评论(0) 推荐(0)

Storm与SparkStreaming对比

摘要： Storm与SparkStreaming对比阅读全文

posted @ 2019-08-21 16:06 DiYong 阅读(267) 评论(0) 推荐(0)

SparkStreaming-DStream（Discretized Stream）

摘要： DStream（Discretized Stream）离散流 ◆ 和Spark基于RDD的概念很相似，Spark Streaming使用离散流（discretized stream）作为抽象表示，叫做DStream。 ◆ DStream是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数阅读全文

posted @ 2019-08-21 16:00 DiYong 阅读(544) 评论(0) 推荐(0)

Diyo

公告