随笔分类 -  hadoop

摘要:(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。(2)发布/订阅模式(一对多,数据生 阅读全文
posted @ 2020-10-12 21:58 王维鹏qaq 阅读(53) 评论(0) 推荐(0)
摘要:Resource Manager Node Manager Container 阅读全文
posted @ 2020-10-10 09:43 王维鹏qaq 阅读(53) 评论(0) 推荐(0)
摘要:mapreduce原语: 相同的Key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算。 阅读全文
posted @ 2020-10-09 20:41 王维鹏qaq 阅读(77) 评论(0) 推荐(0)
摘要:解决单点故障: hdfs HA:通过主备Name Node来完成 如果主Name Node故障切换到备节点 解决内存受限问题: hdfs(联邦) 水平扩展,支持多个Name Node 所有Name Node共享Data Node的存储资源 每个Name Node分管一部分目录 阅读全文
posted @ 2020-10-09 12:06 王维鹏qaq 阅读(71) 评论(0) 推荐(0)
摘要:—— 基于内存存储:不会与磁盘发生交换 只存在内存 持久化 -不会持久化block的位置信息 SNN 执行合并的时机 fsimages eidts log block 偏移量 ,不支持文件修改,可以append data node block块 磁盘 面向文件,大小一样,不能调整 副本数,默认3副本 阅读全文
posted @ 2020-10-03 15:35 王维鹏qaq 阅读(61) 评论(0) 推荐(0)