08 2019 档案

大数据 — Spark笔记2
摘要：Spark（笔记） RDD： RDD是什么？ 弹性 内存和磁盘之间同步数据 RDD可以变成另外一个RDD RDD内部存储数据类型丰富 存什么数据？ RDD不存数据，只存数据的分区信息和读取方法（HDFS，其他RDD） 依赖（向上依赖）： 顶部RDD 非顶部RDD：记录自己来源于谁 — lineage 阅读全文
posted @ 2019-08-20 00:18 带了1个小才艺 阅读(115) 评论(0) 推荐(0)
大数据 — Spark笔记1
摘要：Spark（笔记） spark运行模式： 本地模式 standalone模式：独立集群（封闭） yarn模式：（开放） yarn-client：AM（driver）在提交任务的本地启动 （交互 / 调试方便） yarn-cluster：AM（driver）在某个NN上启动 yarn-client：A 阅读全文
posted @ 2019-08-19 21:11 带了1个小才艺 阅读(147) 评论(0) 推荐(0)
大数据 — Spark-RDD
摘要：Spark 1. RDD abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) extends Seri 阅读全文
posted @ 2019-08-19 17:39 带了1个小才艺 阅读(134) 评论(0) 推荐(0)
大数据 — Hadoop
摘要：HDFS Hadoop 1.0: 3个组件： Namenode SecondNamenode Datanode Namenode SecondNamenode Datanode namenode（主节点，master，只有一个，单点故障的风险）中间存储信息（元数据） 2种映射关系： datanode 阅读全文
posted @ 2019-08-10 14:58 带了1个小才艺 阅读(146) 评论(0) 推荐(0)
大数据 — Yarn
摘要：Yarn: 定位：分布式操作系统 作用：资源整合——让系统的资源可以最大化的利用 在同一套硬件集群上同时可以运行MR任务，Spark任务，Storm任务等 Yarn中包含重要的角色：RM、NM、AM 1.jobtracker（主进程：任务调度、资源分配） 2.tasktracker（从进程：接受请求 阅读全文
posted @ 2019-08-08 21:22 带了1个小才艺 阅读(266) 评论(0) 推荐(0)
2020网易笔试参后感：：：：
摘要：编程第一题： 考点：辗转相除法： 辗转相除法， 又名欧几里德算法（Euclidean algorithm），是求最大公约数的一种方法。它的具体做法是：用较大数除以较小数，再用出现的余数（第一余数）去除除数，再用出现的余数（第二余数）去除第一余数，如此反复，直到最后余数是0为止。如果是求两个数的最大公 阅读全文
posted @ 2019-08-03 17:35 带了1个小才艺 阅读(159) 评论(0) 推荐(0)
网易2019秋招真题—笔记 _(:з」∠)_
摘要：来源：牛客网 小易有一个古老的游戏机，上面有着经典的游戏俄罗斯方块。因为它比较古老，所以规则和一般的俄罗斯方块不同。 荧幕上一共有 n 列，每次都会有一个 1 x 1 的方块随机落下，在同一列中，后落下的方块会叠在先前的方块之上，当一整行方块都被占满时，这一行会被消去，并得到1分。 有一天，小易又开 阅读全文
posted @ 2019-08-01 23:43 带了1个小才艺 阅读(177) 评论(0) 推荐(0)