摘要：
#硅谷钢铁侠读后感 要充分发挥自己的主观能动性，在对事情进行详细的分析判断前不要轻易下结论，要对问题进行详实的调查和分析并汇总成资料再对问题定性，同时要在脑袋里思考可能的备选方案。 明确自己的问题是一个很重要的环节，只有确实了解自己的面临的问题才能寻找解决问题的办法。倘若连自己面临的问题都没有弄清楚 阅读全文
摘要：
学习kafka有一段时间了，但是对kafka架构中的各个角色以及起到的作用还是没有一个比较清晰的脉络，专门找了点时间把现在接触到的各个角色及其作用作一个简单的梳理，后续随着更加深入的学习再进一步进行完善。 各个角色和角色之间的关系如下图所示： 从上图我们可以看到kafka主要由zookeeper，生 阅读全文
摘要：
上一篇我们聊完了kafka生产者，现在我们来聊一聊kafka中另一个重要的角色，kafka消费者。 消费者和消费者群组 kafka消费者分为消费者群组 和 消费者。每一个kafka消费者都隶属于一个kafka消费者群组。每个消费者群组可以对应一个或多个topic，每个topic内的分区只能对应消费者 阅读全文
摘要：
生产者是指向kafka发送消息的程序。根据生产者使用场景的不同，对于消费者的配置也有着不同的要求。我们先来看看生产者向kafka中发送一条消息的过程。 生成数据 生产者生成消息数据，数据中包含topic, key, value。partition这四类信息。topic和value由用户指定且必须填写 阅读全文
摘要：
上一篇文章里我们介绍了kafka是什么以及它所具备的优势。本篇我们介绍kafka的安装以及基本配置。 kafka的安装需要下面三个组件: jdk kafka是用java进行开发的，需要安装jdk，提供运行环境。也因此kafka可以部署在windows, mac，linux平台上。但一般还是部署在li 阅读全文
摘要：
Linux/Unix的十条小准则中我认为有一定借鉴意义的部分： 允许用户定制环境 虽然会带来更高的学习成本，但能够极大的方便用户高效使用软件。 尽量使操作系统的内核小而轻量化 一方面便于移植，另一方面能够增强系统内核的稳定性。 使用小写字母并尽量简短 又臭又长的命令谁都讨厌，而且穿插大写字母会提高用 阅读全文
摘要：
linux namespace技术用于帮助进程隔离出自己单独的空间，但是为了对容器进行管理，还需要对每个容器的资源进行限制，保证他们不会互相争夺资源，这就需要用到linux中的Ggroups技术。 Cgroups定义 linux Cgroups(Control Groups)提供了对一组进程及将来子 阅读全文
摘要：
在工作和学习中我们往往会涉及到多个docker之间内部通信或docker与宿主主机外部通信的情况，这些都是通过docker的网络设置来实现的。下面我们就来了解下docker的网络配置，以及相关设置。 docker在默认情况下有以下三种网络配置方式，在docker安装完成后也会默认进行创建： brid 阅读全文
摘要：
kafka定义 kafka本质上是一个分布式可伸缩的发布订阅系统，他为大型网站和应用提供了分布式流平台。 消息和批次 kafka的数据单元被称为消息，一个消息有一组字节数据组成，每一个消息都有一个被称为键的元数据，kafka可以根据消息的键进行mod运算从而确定该消息应该存放在kafka对应topi 阅读全文
摘要：
避免强制性用户界面 过多的强制性用户界面，会使得处理交互的代码变的膨胀，消耗开发人员过多的精力在非核心功能上。 过多的用户界面会使得代码的杠杆效应下降，其他软件在调用该软件时的难度会加大。 人的处理速度远远低于计算机，太多的交互会影响软件的执行效率。 软件的定位应该使一个“过滤器”，将输入的数据进行 阅读全文