摘要：regionMatches()方法： equals 比较内容 == 比较的是地址 阅读全文

摘要：1,角色日志报错 Encountered exception loading fsimage java.io.FileNotFoundException: No valid image files found at org.apache.hadoop.hdfs.server.namenode.FSI 阅读全文

摘要：Ansible 是一个开源部署工具，开发语言python，特点：ssh协议通讯，全平台，无需编译，模块化部署管理 作用：推送playbook进行远程节点的快速部署 Ansible: 无client,模块化配置管理，playbook脚本编写规范，适合中小规模快速部署 saltstack yaml脚本编 阅读全文

摘要：git最小化配置： 配置user.name 和 user.email git config --global user.name 'your_name' git config --global user.email 'your_email' // email需要是有效的Email config的作用 阅读全文

摘要：Kafka提供的所有度量指标都是通过JMX（Java Management Extensions）接口访问 JMX端口查询： zookeeper上获取端口信息 /brokers/ids/<ID>节点包含json格式的broker信息，里面含有JMX对应的主机名和端口 JMX接口提供的是内部度量指标， 阅读全文

摘要：使用kafka-topic.sh工具可以执行大部分操作 创建/修改/删除/查看集群里的主题。要使用全部功能，需要通过--zookeeper参数提供zookeerper连接字符串 创建主题： 创建主题需要3个参数： 主题名字 复制系数 分区数量 格式： kafka-topic.sh --zookeep 阅读全文

摘要：构建数据管道需要考虑的问题： 及时性 可靠性 高吞吐量和动态吞吐量 数据格式 转换 安全性 故障处理能力 耦合性与灵活性 数据管道的构建分为2个阵营，ETL和ELT ETL：提取-转换-加载 当数据流经管道时，数据管道负责处理他们 ELT：提取-加载-转换：数据管道只做少量的转换，高保真 数据管道最 阅读全文

摘要：Kafka保证分区消息的顺序，“先入先出” 只有当消息被写入分区的所有副本时，才被认为已提交的 只要有一个副本是活跃的，已提交的消息就不会丢失 消费者只能读取已经提交的消息 如果一个或多个副本在同步/非同步之间状态快速切换，说明集群内出现问题，通常是JAVA不恰当的垃圾回收配置导致的 broker安 阅读全文

摘要：集群成员关系： Kafka使用zookeeper维护集群成员信息，每个broker拥有唯一标识符，这个标识符可以在配置文件里指定也可以自动生成，会注册到Zookeeper的/brokers/ids路径下 控制器： 本质就是一个broker，但是还负责分区首领选举 Kafka使用zookeeper的临 阅读全文

摘要：消费者和消费群组： Kafka消费者从属于消费者群组，一个群组里的消费者订阅的是同一个主题，每个消费者接收主题的一部分分区消息 消费者的数量不要超过主题分区的数量，多余的消费者只会被闲置 一个主题可以被多个消费群组使用，消费者群组之间互不影响 当一个消费者加入群组时，他读取的数据是原本由其他消费者读 阅读全文