wellDoneGaben

摘要： 1. 一致性模型 弱一致性 最终一致性 DNS (Domain Name System) Gossip (Cassandra的通信协议) 强一致性 同步 Paxos Raft (multi paxos) ZAB (multi paxos) 2. 强一致性要解决的的问题 数据不能存在单点上(安全) 分 阅读全文

摘要： 1. 前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 2. 上传tar包并修改配置文件 解压tar包到指定目录 进入配置目录 vim hb 阅读全文

摘要： 1. 集群规划 | | Master JobManager | Standby JobManager | Task Manager | Zookeeper | | | | | | | | flink01 | √ | | | √ | | flink02 | | √ | | √ | | flink03 阅读全文

摘要： 设置 Run = Edit Configurations = VM options 添加 XX:+PrintGCDetails 运行程序后会在末尾打印GC信息 PSYoungGen(Parallel Scavenge): Eden + FromSpace 完整的YoungGeneration: Ed 阅读全文

摘要： 一.goroutine简介 Golang中最迷人的一个优点就是从语言层面就支持并发 在Golang中的goroutine(协程)类似于其他语言的线程 并发和并行 并行(parallelism)指不同的代码片段同时在不同的物理处理器上支持 并发(concurrency)指同时管理多个事情,物理处理器上 阅读全文

摘要： 整理一下一些计算机的基础概念。 概念 MESI(Modified, Exclusive, Shared, Invalid) 也称 Illinois 协议, 由美帝UIUC(University of Illinois at Urbana Champaign, 本人表弟目前就读的学校, 计算机系美帝5 阅读全文

摘要： Spark算子总结 算子分类 Transformation(转换) | 转换算子 | 含义 | | | | | map(func) | 返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 | | filter(func) | 过滤, 返回一个新的RDD, 该RDD由经过func函 阅读全文

摘要： 1. 简介 SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的准实时数据流处理。 实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。 例如：map, 阅读全文

摘要： Spark SQL 1. 简介 SparkSQL 的前身是 Shark, SparkSQL 产生的根本原因是其完全脱离了 Hive 的限制。(Shark 底层依赖于 Hive 的解析器, 查询优化器) SparkSQL 支持查询原生的 RDD。 能够在 scala/java 中写 SQL 语句。 支 阅读全文

摘要： Spark 内存管理 Spark 执行应用程序时, 会启动 Driver 和 Executor 两种 JVM 进程 Driver 负责创建 SparkContext 上下文, 提交任务, task的分发等。 Executor 负责 task 的计算任务, 并将结果返回给 Driver, 同时需要为需 阅读全文