十七楼的羊

摘要： 关于映射的说明: 1,数组，集合，元组，映射等默认都是不可变的 ，需要引入可变的包！ 2,map 采用的是类继承的方式来进行实现可变与不可变的 3,map 是一个不可变的键值库,键和值都可以类型参数化 package day01 object Test5 { def main(args: Array[String]): Unit = { //scala 之中的映射实际上... 阅读全文

摘要： 阅读全文

摘要： scala 语言: 1.框架的用户是应用开发程序员，API是否优雅直接影响用户体验。scala 是对 java 的封装,代码可读性与书写较好 2,Scala语言表达能力强，一行代码抵得上Java多行，开发速度快；Scala是静态编译的(比动态快),先编译成 class 文件 3,能融合到Hadoop生态圈常用类型: Scala和Java一样，有7种数值类型Byte、Char... 阅读全文

摘要： spark on yarn 说明:（spark 使用 yarn 调度资源） Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度.YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序... 阅读全文

摘要： HDFS 体系架构 1,HDFS 是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。两者是通过rpc通信的 2,NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。 3,DataNode（数据节点）：系统中通常有多个，是... 阅读全文