随笔分类 - 基础知识
摘要:vi可以分为三种状态,分别是一般模式、编辑模式和命令行模式 1一般模式:以vi打开一个文件就直接进入一般模式了(这是默认的模式)。在这个模式中, 你可以使用上下左右按键来移动光标,你可以使用删除字符或删除整行来处理文件内容, 也可以使用复制、粘贴来处理你的文件数据。 2编辑模式:在一般模式中可以进行
阅读全文
摘要:分布式系统的优势就是可以将多个计算机结点一起协调工作,完成一个单机难以解决的大任务。如果这个任务是纯计算型的,而且可以拆分为若干个独立的计算,即一个计算结果不需要依附另一个计算结果的完成。那么便可以将这个大的计算任务进行拆分,分配到不同结点来完成,最后汇总结果。 上述任务并不涉及到同步问题,但是在分
阅读全文
摘要:讨论一下分布式系统传输过程中常见的at least once 还是 at most once 问题。一般在一次传输过程中,失败与否是使用最大等待时间(记为time out)来判断是否传输成功,如果超过了这个时间,说明传输失败。但是用time out来判断是否传输成功,如果失败的时候无法判断是传送过程
阅读全文
摘要:HBase 架构图 组成部分及作用 Zookeeper在HBase中作用 Master的高可用 RegionServer的监控 元数据的入口 HMaster 不仅有维护集群元数据信息的功能,还能 通过Zookeeper发布自己的位置给客户端 为RegionServer分配Region 维护整个集群的
阅读全文
摘要:并行数据库存在着几种常见不一致问题: 1.更新丢失:两个并发的写进程同时修改某内容,一个没修改完提交之后另一个又提交,导致其覆盖了第一个提交的写进程内容。 2.脏读:一个操作读到了另外一个操作没有提交的事物,但这个操作是不准确的,有可能被修改,比如回滚 3.不可重复度:同一次查找中的两次读的结果不一
阅读全文
摘要:常规调优手段 Fetch抓取 某些情况查询不必用MapReduce计算,比如select*,可以直接读取文件 本地模式 有时数据量比较小,hive可以通过本地模式在单台机器上处理所有任务,对于小数据集,执行时间可以被明显缩短。 JVM重用 对于大量小文件,可开启JVM重用,即多个任务共用一个JVM而
阅读全文
摘要:大多数课程都是站在使用的角度来讲分布式系统如何工作和完成任务,本课程是站在系统设计方面来看,分布式系统是怎样实现,要考虑哪些问题。对我来说受益匪浅,故作为整理。 分布式系统是什么:1.由多个独立的计算机连接在一起的一个系统。必须是多个独立的计算机而不是多核心的单个计算机。2.在用户眼里感觉是单个系统
阅读全文
摘要:(本文仅作为简单介绍,理解原理,如果深入学习请参考其他博文) what is 设计模式? 无论开发中还是面试中,都需要用到设计模式。设计模式,是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。简单地说,就是前人总结出来的
阅读全文
摘要:正则表式(Regular Expression)简写为regex、regexp或RE正则表达式(相对于找规律),正则表达式是对字符串操作的一种逻辑公式,用事先特定好的一些字符。作用:正则表达式主要用来验证、搜索和替换正则表达式是一个“规则字符串”用来表达对字符串的一种过滤逻辑正则表达式通常被用来检索
阅读全文

浙公网安备 33010602011771号