10.27
基础概念层面,我理清了大数据与云计算的核心定义、特征以及二者的内在关联。从前我常将两者混为一谈,学习后才明白,云计算是底层的资源服务底座,核心是实现计算、存储资源的弹性化、服务化交付;而大数据是上层的核心应用场景,依托云计算的算力支撑完成海量数据的存储与价值挖掘。同时我也清晰区分了云计算 IaaS、PaaS、SaaS 三类服务模式的差异,理解了云计算按需付费、弹性伸缩、资源池化等核心特性,建立起了对云技术体系的整体认知。
在核心技术原理层面,分布式系统的设计思想让我印象最为深刻。从谷歌 “三驾马车” GFS、MapReduce、Bigtable 的设计,到 Hadoop 生态的落地实现,我看到了分布式系统如何通过多副本、数据分片、故障自动恢复等机制,在普通硬件上构建出高可靠、高扩展的存储与计算能力。尤其是学习 Hadoop 1.0 到 2.0 的架构演进时,我真切体会到了技术迭代的底层逻辑:1.0 版本中 MapReduce 同时承担资源调度与计算,架构耦合带来了单点瓶颈、扩展性差的问题;2.0 版本将资源调度独立为 YARN 层,实现了计算与调度的解耦,不仅解决了性能瓶颈,还支持多计算引擎接入。这种 “解耦、分层、通用化” 的架构设计思路,比单纯的知识点更有启发意义。
浙公网安备 33010602011771号