2021年11月21日
Hadoop集群 增加节点/增加磁盘
摘要： 在虚拟机中新建一个机器。 设置静态IP 将修改/etc/hosts 192.168.102.10 master 192.168.102.11 slave-1 192.168.102.12 slave-2 192.168.102.13 slave-3 192.168.102.14 slave-4 在然 阅读全文
posted @ 2021-11-21 15:41 SQL写手 阅读(232) 评论(0) 推荐(0)
2021年11月9日
MapReduce执行流程
摘要： 数据处理总流程 MapReduce计算框架体现的是一个分治的思想。及将待处理的数据分片在每个数据分片上并行运行相同逻辑的map()函数，然后将每一个数据分片的处理结果汇集到reduce()函数进行规约整理，最后输出结果。 总体上来说MapReduce的处理流程从逻辑上看并不复杂。对于应用Hadoop 阅读全文
posted @ 2021-11-09 12:40 SQL写手 阅读(526) 评论(0) 推荐(1)
2021年11月5日
Iceberg概述
摘要： 背景 随着大数据领域的不断发展, 越来越多的概念被提出并应用到生产中而数据湖概念就是其中之一, 其概念参照阿里云的简介: 数据湖是一个集中式存储库, 可存储任意规模结构化和非结构化数据, 支持大数据和AI计算.数据湖构建服务（Data Lake Formation, DLF）作为云原生数据湖架构核心 阅读全文
posted @ 2021-11-05 18:00 SQL写手 阅读(1943) 评论(0) 推荐(0)