zbandtyy

摘要： ##1.环境准备 ##2.提交代码 ##3.解析流程 阅读全文

摘要： ##1. 引言 接下来从使用spark structured streaming的示例等各个方面分析，spark提供了什么接口给我们使用以深入探究spark帮我们做了什么？ ##2. 示例代码 ```java //1.配置应用名称、参数等 SparkSession spark = SparkSess 阅读全文

摘要： 引言 假设一个任务，有海量数据（1亿M、1亿G，1亿PB....）n台主机，想要利用所有的资源尽快的统计或者处理全部的数据，我们需要干什么？ 1. 设计数据处理的算法 2. 把该算法分派到各个主机上执行（要考虑到主机的资源情况、负载平衡、安全、服务宕机....） 3. 各个主机自行读取数据，执行任务 阅读全文

摘要： 阅读全文