摘要： 理解指针 指针类型和普通类型区别 package main import ( "fmt" ) type User struct { Id int64 Name string } func (user *User) getUserInfo() string { return fmt.Sprintf(" 阅读全文

摘要： 一、Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container组成，之间通过RPC通讯 1、ResourceManager：是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Sche 阅读全文

摘要： 一、架构设计 Driver根据用户代码构建计算流图，拆解出分布式任务并分发到 Executors 中去；每个Executors收到任务，然后处理这个 RDD 的一个数据分片子集 DAGScheduler根据用户代码构建 DAG；以 Shuffle 为边界切割 Stages；基于 Stages 创建 阅读全文

摘要： 个人理解，欢迎指正 数据库 引擎 写数据 读数据 补充 MySql InnoDB：支持事务，高速读写性能一般 Myisam：不支持事务，高速读写性能好 以InnoDB更新一条记录为例 1、B+Tree搜索找到这行记录，如果数据页在内存直接返回给【执行器】，否则从磁盘读入内存再返回 2、【执行器】更新 阅读全文

摘要： https://www.cnblogs.com/xiaoniuhululu/p/16736861.html 阅读全文

摘要： 一、功能简介 Atlas 是一组可扩展的核心基础治理服务，使企业能够高效地满足其在 Hadoop 中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas 为组织提供开放的元数据管理和治理功能，以构建其数据资产的目录，对这些资产进行分类和治理，并为数据科学家、分析师和数据治理团队提 阅读全文

摘要： Atlas启动时报以下错误，看情况是atlas没有在zk上找到solr注册信息；然后发现solr启动命令bin/solr start -force会默认使用内置的zk，不会往公共zk上面注册； 解决方案是solr启动时手动指定一下zk地址即可：bin/solr start -p 8983 -z lo 阅读全文

摘要： 本文是对spark作者早期论文《Spark: Cluster Computing with Working Sets》做的翻译（主要借助谷歌翻译），文章比较理论，阅读起来稍微有些吃力，但读完之后总算是对spark有了一个初步的认知，对于后续学习使用spark还是很有帮助的。 摘要 MapReduce 阅读全文

摘要： 1、下载地址(mysql5.7) https://downloads.mysql.com/archives/community/ 2、my.cnf 查看代码 #default-character-set=utf8 #socket=/var/lib/mysql/mysql.sock [mysqld] 阅读全文

摘要： Mapper端：每个mapTask有一个环形缓冲区，用于存储map任务的输出。默认大小100M(io.sort.mb属性)，一旦达到阀值0.8（io.sort.spill.percent），一个后台线程把内容写到（spill）磁盘的指定目录（mapred.local.dir）下的新建的一个溢写文件。 阅读全文