摘要：
我投入了大量精力在自动化部署和可视化呈现两个方向。使用Ambari的Blueprint功能，我编写了一份包含HDFS、YARN、Hive、Spark和ZooKeeper组件的集群蓝图配置文件，通过Ambari REST API一键触发了整个集群的安装和配置，整个过程虽然前期准备Blueprint的J 阅读全文
posted @ 2026-08-21 20:57
hhxyb
阅读(2)
评论(0)
推荐(0)
摘要：
学习了Spark和Tez两种DAG计算引擎，并对比它们与MapReduce的差异。Spark方面我部署了Standalone集群，通过spark-shell交互式环境运行了Scala版本的WordCount，仔细观察了RDD的依赖关系和Stage划分逻辑，窄依赖和宽依赖的区别在实战中变得清晰起来—— 阅读全文
posted @ 2026-08-20 19:59
hhxyb
阅读(2)
评论(0)
推荐(0)
摘要：
围绕Oozie作业调度和Hive数据仓库基础展开，同时热词采集项目也进入了批量抓取阶段。在Oozie部署过程中，我遇到了MySQL驱动缺失导致coordinator无法记录任务状态的故障，将mysql-connector-java复制到Oozie的lib目录后解决，随后我编写了第一个workflow 阅读全文
posted @ 2026-08-20 19:59
hhxyb
阅读(2)
评论(0)
推荐(0)
摘要：
我从HDFS的存储层跨入到计算层，全面展开了Yarn和MapReduce的学习与实践。Yarn方面，我掌握了ResourceManager、NodeManager和ApplicationMaster三大组件的协作流程，理解了Container的申请与释放机制，并实际配置了基于Capacity Sch 阅读全文
posted @ 2026-08-20 19:58
hhxyb
阅读(2)
评论(0)
推荐(0)
摘要：
本周的学习重心完全押在了HDFS分布式文件系统的深度实践上，我利用三台CentOS虚拟机完成了完全分布式集群的安装配置，核心工作集中在core-site.xml和hdfs-site.xml的参数调优，尤其是namenode和datanode的数据目录指定、副本数设置以及secondarynameno 阅读全文
posted @ 2026-08-20 19:58
hhxyb
阅读(2)
评论(0)
推荐(0)
摘要：
本周是暑假正式投入技术学习的第一周，我按照PPT中的大数据路线图，从Linux Shell脚本和Hadoop基础环境入手，逐步搭建起学习框架。在Shell脚本方面，我系统学习了变量定义、运算符使用、环境变量设置以及各类条件判断和循环语句，包括if、case、for和while，为了巩固理解，我手写了 阅读全文
posted @ 2026-08-20 19:57
hhxyb
阅读(5)
评论(0)
推荐(0)
摘要：
昨日完成：架构方法论总结完成，形成了10条架构设计原则。 用时统计：花费约2小时，累计学习约223.5小时。 遇到的困难：方法论需要结合具体案例才有说服力，补充了Tlias实际场景。 今日任务：梳理Java基础、并发编程、JVM相关面试题，准备应对思路。 核心收获：整理了ThreadLocal原理、 阅读全文
posted @ 2026-06-17 23:32
hhxyb
阅读(6)
评论(0)
推荐(0)
摘要：
昨日完成：项目复盘文档完成，记录了3个关键架构决策和2个失败教训。 用时统计：花费约2小时，累计学习约221.5小时。 遇到的困难：部分早期代码已遗忘，需要重新阅读加深理解。 今日任务：提炼架构设计方法论，总结技术选型、容量规划、演进路线的通用模型。 核心收获：建立了从业务需求到技术方案的转化能力， 阅读全文
posted @ 2026-06-17 23:32
hhxyb
阅读(8)
评论(0)
推荐(0)
摘要：
昨日完成：湖仓一体架构总结完成，梳理了从OLTP到OLAP的数据流转路径。 用时统计：花费约2小时，累计学习约219.5小时。 遇到的困难：大数据组件较多，建议作为后续专门学习方向，本阶段以了解为主。 今日任务：对Tlias项目从需求到上线的完整流程进行系统性复盘。 核心收获：串联了前后端开发、微服 阅读全文
posted @ 2026-06-17 23:31
hhxyb
阅读(11)
评论(0)
推荐(0)
摘要：
日完成：Hudi环境搭建，完成了员工历史数据的CDC入湖实验。 用时统计：花费约2小时，累计学习约217.5小时。 遇到的困难：Hudi与Spark/Hive的版本兼容性问题，需要仔细匹配版本号。 今日任务：总结湖仓一体架构，展望Tlias系统在大数据场景下的扩展可能性。 核心收获：理解了数据分析架 阅读全文
posted @ 2026-06-17 23:31
hhxyb
阅读(8)
评论(0)
推荐(0)
浙公网安备 33010602011771号