摘要:1,角色日志报错 Encountered exception loading fsimage java.io.FileNotFoundException: No valid image files found at org.apache.hadoop.hdfs.server.namenode.FSI 阅读全文
posted @ 2019-04-02 17:17 南宫葬月 阅读 (67) 评论 (0)
编辑
摘要:Ansible 是一个开源部署工具,开发语言python,特点:ssh协议通讯,全平台,无需编译,模块化部署管理 作用:推送playbook进行远程节点的快速部署 Ansible: 无client,模块化配置管理,playbook脚本编写规范,适合中小规模快速部署 saltstack yaml脚本编 阅读全文
posted @ 2019-02-25 18:29 南宫葬月 阅读 (71) 评论 (0)
编辑
摘要:git最小化配置: 配置user.name 和 user.email git config --global user.name 'your_name' git config --global user.email 'your_email' // email需要是有效的Email config的作用 阅读全文
posted @ 2019-02-25 17:32 南宫葬月 阅读 (32) 评论 (0)
编辑
摘要:Kafka提供的所有度量指标都是通过JMX(Java Management Extensions)接口访问 JMX端口查询: zookeeper上获取端口信息 /brokers/ids/<ID>节点包含json格式的broker信息,里面含有JMX对应的主机名和端口 JMX接口提供的是内部度量指标, 阅读全文
posted @ 2019-02-01 14:40 南宫葬月 阅读 (71) 评论 (0)
编辑
摘要:使用kafka-topic.sh工具可以执行大部分操作 创建/修改/删除/查看集群里的主题。要使用全部功能,需要通过--zookeeper参数提供zookeerper连接字符串 创建主题: 创建主题需要3个参数: 主题名字 复制系数 分区数量 格式: kafka-topic.sh --zookeep 阅读全文
posted @ 2019-02-01 10:32 南宫葬月 阅读 (49) 评论 (0)
编辑
摘要:构建数据管道需要考虑的问题: 及时性 可靠性 高吞吐量和动态吞吐量 数据格式 转换 安全性 故障处理能力 耦合性与灵活性 数据管道的构建分为2个阵营,ETL和ELT ETL:提取-转换-加载 当数据流经管道时,数据管道负责处理他们 ELT:提取-加载-转换:数据管道只做少量的转换,高保真 数据管道最 阅读全文
posted @ 2019-01-31 17:30 南宫葬月 阅读 (150) 评论 (0)
编辑
摘要:Kafka保证分区消息的顺序,“先入先出” 只有当消息被写入分区的所有副本时,才被认为已提交的 只要有一个副本是活跃的,已提交的消息就不会丢失 消费者只能读取已经提交的消息 如果一个或多个副本在同步/非同步之间状态快速切换,说明集群内出现问题,通常是JAVA不恰当的垃圾回收配置导致的 broker安 阅读全文
posted @ 2019-01-31 16:53 南宫葬月 阅读 (30) 评论 (0)
编辑
摘要:集群成员关系: Kafka使用zookeeper维护集群成员信息,每个broker拥有唯一标识符,这个标识符可以在配置文件里指定也可以自动生成,会注册到Zookeeper的/brokers/ids路径下 控制器: 本质就是一个broker,但是还负责分区首领选举 Kafka使用zookeeper的临 阅读全文
posted @ 2019-01-31 12:27 南宫葬月 阅读 (46) 评论 (0)
编辑
摘要:消费者和消费群组: Kafka消费者从属于消费者群组,一个群组里的消费者订阅的是同一个主题,每个消费者接收主题的一部分分区消息 消费者的数量不要超过主题分区的数量,多余的消费者只会被闲置 一个主题可以被多个消费群组使用,消费者群组之间互不影响 当一个消费者加入群组时,他读取的数据是原本由其他消费者读 阅读全文
posted @ 2019-01-31 12:04 南宫葬月 阅读 (31) 评论 (0)
编辑