摘要:在云原生与容器化时代浪潮下,大多数新手的普遍认识是“容器=虚拟机”,既然容器等同于虚拟机,那么在容器中想运行多少个进程就运行多少个进程。作为从新手村走过来的人,笔者想为这个想法纠偏,避免大家和我走一样的弯路。有两个概念我们要理清:第一,容器不等同于虚拟机;第二,容器中不建议运行多个进程。本文以Docker容器为主要讨论展开。 阅读全文
posted @ 2021-05-26 20:13 JasonCeng 阅读(1351) 评论(0) 推荐(6) 编辑
摘要:生命不息,奔跑不止,持之以恒,勇攀高峰!JasonCeng的跑步打开博文,持续更新,培养好习惯,一起变成更优秀的自己! 阅读全文
posted @ 2019-12-25 22:14 JasonCeng 阅读(242) 评论(0) 推荐(0) 编辑
摘要:我们都知道,索引是数据库中的一把双刃剑,用好索引,能使性能提升好几个数量级,而如果对索引认识不深,乱用索引,则有可能适得其反。本文查阅相关资料整理出对索引的深度认识,深入介绍了MySQL中的B-Tree索引、哈希索引、空间数据索引(R-Tree)、全文索引以及其他索引类别。分别从各种索引的内部实现原理、应用优势及相关限制进行介绍。希望能对你有所帮助。 阅读全文
posted @ 2019-12-15 14:45 JasonCeng 阅读(5179) 评论(-1) 推荐(1) 编辑
摘要:你真的了解你自己吗?我猜很多人并不真正了解自己,甚至从未了解过,所以才会对自身的各种问题困惑不已。不明白自己为什么容易焦虑;不明白自己为什么缺乏耐心;更不明白应该如何驾驭自己的肉体和灵魂。其实这是十分可怕的事情,一切都得从我们的“大脑”说起。 阅读全文
posted @ 2021-05-30 22:52 JasonCeng 阅读(33) 评论(0) 推荐(0) 编辑
摘要:在云原生与容器化时代浪潮下,大多数新手的普遍认识是“容器=虚拟机”,既然容器等同于虚拟机,那么在容器中想运行多少个进程就运行多少个进程。作为从新手村走过来的人,笔者想为这个想法纠偏,避免大家和我走一样的弯路。有两个概念我们要理清:第一,容器不等同于虚拟机;第二,容器中不建议运行多个进程。本文以Docker容器为主要讨论展开。 阅读全文
posted @ 2021-05-26 20:13 JasonCeng 阅读(1351) 评论(0) 推荐(6) 编辑
摘要:2021ArchSummit全球架构师峰会可以算得上是业界技术发展方向的一次风向标,作为刚刚参加工作两年的IT从业者,我从这次大会上学到了些什么呢?下面一起聊一聊。 阅读全文
posted @ 2021-05-13 22:05 JasonCeng 阅读(238) 评论(0) 推荐(0) 编辑
摘要:想装一台个人工作站很久了,原因是大学自用的笔记本总是在使用过程中过热关机,导致做一些CPU负载较高的工作时总是中断而无法连贯进行。考虑到目前手头还有一个Surface 3在使用,再买一个笔记本对我来说ROI不是最大的,因为我一般会在家进行一些重型的研究工作,而如果出门的话则只会进行一些简单代码的编程以及阅读相关文献,所以外出的场景目前已经有Surface 3可以支撑我的日常需求,由此敲定了我要组装一台个人工作站的决定。我的目标配置是CPU 8核,内存32GB,其他暂时无太高的配置需求,大概估算了一下,5k以内可以搞定这件事情,相比起购买笔记本电脑,这个ROI还是比较高的。话不多说,开干! 阅读全文
posted @ 2021-04-30 00:45 JasonCeng 阅读(100) 评论(0) 推荐(0) 编辑
摘要:MySQL被广泛用于海量业务的存储数据库,在大数据时代,我们亟需对其中的海量数据进行分析,但在MySQL之上进行大数据分析显然是不现实的,这会影响业务系统的运行稳定。如果我们要实时地分析这些数据,则需要实时地将其复制到适合OLAP的数据系统上。本文介绍一种数据采集工具——Flume,由cloudera软件公司于2009年被捐赠了apache软件基金会,现已成为apache top项目之一。本文使用Flume构建一个对MySQL数据的采集,并投递到Kafka的一个链路。 阅读全文
posted @ 2021-03-01 12:52 JasonCeng 阅读(67) 评论(6) 推荐(0) 编辑
摘要:flume是由cloudera软件公司产出的可分布式日志收集系统,后于2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一。本文介绍如何在Linux下安装Flume。 阅读全文
posted @ 2021-03-01 12:50 JasonCeng 阅读(23) 评论(0) 推荐(0) 编辑
摘要:这是6.824分布式系统课程,分布式系统的核心是通过网络以完成一致任务的一组协作计算机。因此我们将在本课程中重点介绍各种实例,例如大型网站的存储或MapReduce等大数据计算之类的东西,还有一些更奇特的事情,例如点对点文件共享,这些都只是我们研究分布式系统过程中的一些示例。我们将通过本文了解分布式系统发展的驱动力和所面临的挑战。 阅读全文
posted @ 2021-02-28 20:30 JasonCeng 阅读(36) 评论(0) 推荐(0) 编辑
摘要:MySQL被广泛用于海量业务的存储数据库,在大数据时代,我们亟需对其中的海量数据进行分析,但在MySQL之上进行大数据分析显然是不现实的,这会影响业务系统的运行稳定。如果我们要实时地分析这些数据,则需要实时地将其复制到适合OLAP的数据系统上。本文介绍一种CDC工具——Canal,由阿里巴巴开源,且广泛用于阿里的生产系统,它模拟MySQL Slave结点,实时获取变化的binlog,我们将把canal获取到的binlog投递到kafka上以供后续系统消费。本文基于Ubuntu 16.04 LTS。 阅读全文
posted @ 2021-02-27 15:49 JasonCeng 阅读(131) 评论(0) 推荐(0) 编辑
摘要:Kafka 是一个分布式的基于push-subscribe的消息系统,它具备快速、可扩展、可持久化的特点。由 LinkedIn 开源,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在是Apache旗下的一个开源系统,作为Hadoop生态系统的一部分,被各种商业公司广泛应用。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于Hadoop的批处理系统、低延迟的实时系统、Flink/Storm/Spark流式处理引擎。可以说是现代分布式系统的基石,学习kafka的使用、原理变得十分必要。本文基于Ubuntu 16.04 LTS,介绍如何搭建1主2备的kafka集群。 阅读全文
posted @ 2021-02-27 15:41 JasonCeng 阅读(118) 评论(0) 推荐(0) 编辑
摘要:Zookeeper是针对大型分布式系统的高可靠的协调系统。它基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。把分布式集群当成zoo,那么zookeeper就是管理员。zookeeper本身也可以是个集群,通过几台follow机器选举leader。zookeeper的主要作用包括,命名服务,配置管理,分布式一致性锁,HA(High available)。真是因为zookeeper在分布式系统领域如此重要,可以说是基石,所以我们绕不开要学习其使用及原理。本文基于Ubuntu 16.04 LTS,介绍如何搭建1主2从的zookeeper集群。 阅读全文
posted @ 2021-02-27 15:22 JasonCeng 阅读(237) 评论(0) 推荐(2) 编辑