土豆面包

摘要： package rdd.builder import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Spark_01_RDD_Memory { def main(args: Arra 阅读全文

摘要： 原文链接：https://baijiahao.baidu.com/s?id=1633305649182361563&wfr=spider&for=pc 阅读全文

摘要： 一、基础的架子 假设Executor是服务端，Driver是客户端 代码： package test import java.io.InputStream import java.net.{ServerSocket, Socket} object Executor { def main(args: 阅读全文

摘要： //本地模式 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local[2] \ ./examples/jars/spark-examples_2.12-3.0.1.jar \ 10 //分布式集群 b 阅读全文

摘要： xsync： #!/bin/sh # 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args...; exit; fi # 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fnam 阅读全文

摘要： 一.RDD是什么 RDD, 全称为 Resilient Distributed Datasets, 是一个容错的, 并行的数据结构, 可以让用户显式地将数据存储到磁盘和内存中, 并能控制数据的分区. 同时, RDD 还提供了一组丰富的操作来操作这些数据. 在这些操作中, 诸如 map, flatMa 阅读全文

摘要： 原文链接：https://blog.csdn.net/qiruiduni/article/details/46914397 阅读全文

摘要： 一、流程分析 二、代码部分 1 package wc 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 object Spark_WordCount { 7 8 de 阅读全文

摘要： 1. 系统的伸缩性需求。如大型在线游戏，需要满足大量用户。在线用户数量短时间内可能有很大的变化。这其中隐含的需求是：多用户并行分布式系统，系统运行在多台机器上高可扩展性（用于加入新的故事情节，意味着新的代码）高稳定性、可靠性（一个用户崩溃，不影响其他用户）数据一致性（多个用户看到同一个东西的状态应该 阅读全文

摘要： 1. 新代码的定位一开始就有系统结构清晰的总体视图，所以，新的功能单元可以添加到正确的功能区域，而不是为了一时方便，代码随意添加。（这样，有的时候开发者的工作会需要动写脑筋，但是在系统维护和扩展时，就变得容易了）2. 系统的一致性顶层设计的良好风格和决定，为底层代理好处，代码是统一、整洁的。清晰的定 阅读全文