摘要: Spark在YARN中有yarn-cluster和yarn-client两种运行模式: I. Yarn client 在yarn-client模式下,Driver运行在Client上,通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor containe 阅读全文
posted @ 2019-09-17 10:00 陈泽泽 阅读(361) 评论(0) 推荐(0) 编辑
摘要: git pull = git fetch + git mergegit pull --rebase = git fetch + git rebase 现在来看看git merge和git rebase的区别。 假设有3次提交A,B,C。 在远程分支origin的基础上创建一个名为"mywork"的分 阅读全文
posted @ 2019-03-22 10:14 陈泽泽 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 使用客户端命令连接Zookeeper 连接Server 使用命令./zkCli.sh -server 127.0.0.1:2181 使用JAVA连接使用ZK POM添加引用 使用curator连接使用ZK 阅读全文
posted @ 2019-03-05 11:08 陈泽泽 阅读(2014) 评论(0) 推荐(0) 编辑
摘要: 1. SaaS:Software-as-a-Service(软件即服务) 提供给客户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基础设施,包括网络、服务器、操作系统、存储等等; 2. PaaS:Platform-a 阅读全文
posted @ 2019-03-04 20:01 陈泽泽 阅读(589) 评论(0) 推荐(0) 编辑
摘要: 编译遇到错误: /usr/bin/../lib/gcc/x86_64-linux-gnu/5.4.1/../../../../include/c++/5.4.1/cstddef:51:11: error: no member named 'max_align_t' in the global nam 阅读全文
posted @ 2018-10-09 14:55 陈泽泽 阅读(3418) 评论(0) 推荐(0) 编辑
摘要: 一、Transition-based的依存解析方法 解析过程:首先设计一系列action, 其就是有方向带类型的边,接着从左向右依次解析句子中的每一个词,解析词的同时通过选择某一个action开始增量构建依存树, 直到句子中的词解析完. 优点:解析过程是线性的, operations步骤随句子长度线 阅读全文
posted @ 2018-10-08 09:55 陈泽泽 阅读(2492) 评论(0) 推荐(0) 编辑
摘要: 死锁产生的四个必要条件 互斥条件:资源是独占的且排他使用,进程互斥使用资源,即任意时刻一个资源只能给一个进程使用,其他进程若申请一个资源,而该资源被另一进程占有时,则申请者等待直到资源被占有者释放。 不可剥夺条件:进程所获得的资源在未使用完毕之前,不被其他进程强行剥夺,而只能由获得该资源的进程资源释 阅读全文
posted @ 2018-09-27 10:35 陈泽泽 阅读(15067) 评论(0) 推荐(1) 编辑
摘要: 1、物理层 建立、维护、断开物理连接。(由底层网络定义协议) 2、数据链路层 建立逻辑连接、进行硬件地址寻址、差错校验等功能。(由底层网络定义协议) 将比特组合成字节进而组合成帧,用MAC地址访问介质,错误发现但不能纠正。 3、网络层 进行逻辑地址寻址,实现不同网络之间的路径选择。 协议有:ICMP 阅读全文
posted @ 2018-09-17 09:59 陈泽泽 阅读(866) 评论(0) 推荐(0) 编辑
摘要: 关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间。 数据库分布式核心内容无非就是数据 阅读全文
posted @ 2018-09-08 12:49 陈泽泽 阅读(2200) 评论(0) 推荐(0) 编辑
摘要: ⑴ 原子性(Atomicity) 原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,事务的操作如果成功就必须要完全应用到数据库,如果操作失败则不能对数据库有任何影响。 ⑵ 一致性(Consistency) 一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也就是说一个事务执 阅读全文
posted @ 2018-09-08 12:42 陈泽泽 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 1. 数据库索引: 索引就像是书的目录,是与表或视图关联的磁盘上结构,可以加快从表或视图中检索行的速度。索引中包含由表或视图中的一列或多列生成的键。这些键存储在一个结构(BTree)中,使SQL可以快速有效地查找与键值关联的行。 2. 为什么要建立索引,即索引的优点: ① 建立索引的列可以保证行的唯 阅读全文
posted @ 2018-09-08 12:38 陈泽泽 阅读(3731) 评论(0) 推荐(0) 编辑
摘要: JVM把class文件加载到内存,并对数据进行校验、解析和初始化,最终形成JVM可以直接使用的Java类型的过程。 类加载的过程主要分为三个部分: 加载 链接 初始化 加载 链接 初始化 而链接又可以细分为三个小部分: 验证 准备 解析 验证 准备 解析 1、加载 简单来说,加载指的是把class字 阅读全文
posted @ 2018-09-08 11:49 陈泽泽 阅读(349) 评论(0) 推荐(0) 编辑
摘要: 前序遍历 中序遍历 后序遍历 阅读全文
posted @ 2018-09-06 17:27 陈泽泽 阅读(965) 评论(0) 推荐(1) 编辑
摘要: 设计和实现一个 LRU (最近最少使用) 缓存机制。它应该支持以下操作: 获取数据 get 和 写入数据 put 阅读全文
posted @ 2018-09-05 09:12 陈泽泽 阅读(358) 评论(0) 推荐(0) 编辑
摘要: 一. 什么是单例模式 只需要某个类同时保留一个对象,不希望有更多对象,此时,我们则应考虑单例模式的设计。 单例模式的主要作用是保证在Java程序中,某个类只有一个实例存在。 单例模式有很多好处,它能够避免实例对象的重复创建,不仅可以减少每次创建对象的时间开销,还可以节约内存空间; 能够避免由于操作多 阅读全文
posted @ 2018-09-04 08:50 陈泽泽 阅读(1335) 评论(1) 推荐(1) 编辑