clh628

摘要： yml配置信息书写和获取 书写： 值前必须有空格作为分割符 空格表示层级关系，同级左侧对齐 获取： @Value（"${键名}"） @ConfigurationProperties(prefix = "前缀") 阅读全文

摘要： 今天课堂上老师带大家阅读了《架构漫谈》，并且给大家提出了一系列的问题，以下是问题以及我的理解 什么是架构： 明确需要做的全部工作，即界定边界；并且将全部工作进行合理划分，使不同的生产力完成不同的工作，使其可以节约成本，提高生产效率 为什么要出现架构： 不同的生产力有不同的分工 架构可以使不同分工的生 阅读全文

摘要： MVC模式 MVC模式是软件工程中常见的一种软件架构模式，该模式把软件系统（项目）分为三个基本部分：模型（Model）、视图（View）和控制器（Controller）。 使用MVC模式有很多优势，例如:简化后期对项目的修改、扩展等维护操作；使项目的某一部分变得可以重复利用；使项目的结构更加直观。 阅读全文

摘要： 阅读全文

摘要： Spark特点运行速度快：Spark使用DAG执行引擎，支持循环数据流与内存计算容易使用：Spark支持使用Scala、Java、Python和R语言进行编程；Spark Shell进行交互式编程通用性：Spark提供了完整而强大的技术栈。包括SQL查询，流式计算，机器学习和图算法组件运行模式多样S 阅读全文

摘要： RDD编程基础RDD创建从文件系统中加载数据创建RDD>>> lines = sc.textFile("file:///opt/module/spark/mycode/rdd/word.txt")>>> lines.foreach(print)Spark is fast (0 + 2) / 2]Sp 阅读全文

摘要： 数据读写文件数据读写>>> textFile = sc.textFile("file:///opt/module/spark/mycode/rdd/word.txt")>>> textFile.first()'Hello Hadoop'#若word.txt不存在，直到执行才会报错 '''saveAs 阅读全文

摘要： RDD编程 实验1 pyspark交互式编程学习资料 林子雨《Spark编程基础》 不要老想着转换为(key, value)对！不要老想着转换为(key, value)对！不要老想着转换为(key, value)对！怎么简单怎么来! from pyspark import SparkConf, Sp 阅读全文

摘要： Spark SQLSpark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作可以支持大量的数据源和数据分析算法，组合使用Sparl SQL和Spark MLlibDataFrameSpark SQL使用的数据抽象是DataFrame SparkSession D 阅读全文

摘要： 变量变量声明var 可变val 不可变；字面量(literal)用valval valDouble: Double = 10.6var varStr: String = "Hello Scala!"varStr = "Hello World!"// valDouble = 10.8 不可更改1234 阅读全文