kris12

摘要： arrays :+ 5尾部 头部5 +: arrays list -- seq序列 队列特殊集合：mutable.Queue 队列, 必须为可变的 先进先出 Set:immutable 无序 不可变-- java:set ==> scala:Set mutable.set可变 mutable.Map 阅读全文

摘要： 1.Spark and Hadoop 在 Spark 出现之前，我们并没有对 MapReduce 的执行速度不满，我们觉得大数据嘛、分布式计算嘛，这样的速度也还可以啦。至于编程复杂度也是一样，一方面 Hive、Mahout 这些 工具将常用的 MapReduce 编程封装起来了；另一方面，MapRe 阅读全文

摘要： Spark 核心编程 Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是： ➢ RDD : 弹性分布式数据集 ➢ 累加器：分布式共享只写变量 ➢ 广播变量：分布式共享只读变量 RDD（Resilient Distributed Da 阅读全文

摘要： Java 集合 : 数据的容器，可以在内部容纳数据 List : 有序，可重复的 Set : 无序，不可重复 Map : 无序，存储K-V键值对，key不可重复 scala 集合 ： 可变集合(ArrayList) & 不可变集合（数组） String(不可变字符串), （StringBuilder 阅读全文

摘要： 函数式编程 静态关键字不是面向对象中的语法,scala中函数可理解为java中的静态方法 scala是完全面向函数的编程语言，scala中的类其实也是一个函数 这里的函数类似于java的静态方法，体现的是功能的封装 声明 def main(args: Array[String]): Unit = { 阅读全文

摘要： Scala 是 Scalable Language 的简写，是一门多范式(编程的方式)的编程语言 Scala是一门以java虚拟机（JVM）为目标运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 Scala 是一门多范式 (multi-paradigm) 的编程语言，Scal 阅读全文

摘要： extend App scala中面向对象的编程语法和java基本类似，但是有区别 * 1）scala中的包和java一致 * 2) scala中import可以用于导包，但是java.lang的包自动的包含（跟java中一样，java.lang包不用导入就可直接使用） scala中import才是 阅读全文

摘要： Logstash数据处理工具 具有实时渠道能力的数据收集引擎，包含输入、过滤、输出模块，一般在过滤模块中做日志格式化的解析工作 日志信息-->logstsh-->json形式 mysql\ hbase\ ES-->logstsh(select * from user)-->ES logstsh架构 阅读全文

摘要： 检查集群是否正确启动 http://192.168.1.101:9200/_cat/nodes?v {"error":{"root_cause":[{"type":"master_not_discovered_exception","reason":null}],"type":"master_not 阅读全文

摘要： 1、数仓分层 分层 提高复用性、 减少重复开发 数据集市与数据仓库的区别 数据集市：狭义ADS层； 广义上指DWD DWS ADS 从hadoop同步到RDS的数据 数仓命名规范 表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命 阅读全文