摘要: 👀 About 大数据工程师,Hadoop开发&运维,热爱互联网技术 喜欢打篮球 这家伙很懒,已经很久没打球了 偶尔打打王者 王者老亚瑟 更多的时间是DIY手工 ⚡ Label 大数据 Hadoop Java 开发 程序猿 DIY 📌 Project DolphinScheduler Hadoo 阅读全文
posted @ 2024-11-01 16:16 iKinson 阅读(10) 评论(0) 推荐(0)
摘要: 一、HDFS 1. HDFS概述 Hadoop 分布式系统框架中,首要的基础功能就是文件系统,在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类,在我们实际工作中,用到的最多的就是HDFS(分布式文件系 阅读全文
posted @ 2024-11-01 12:22 iKinson 阅读(163) 评论(0) 推荐(0)
摘要: 现状 如果大数据团队使用 Cloudera Manager 产品,那极有可能会遇到以下场景: 有多套环境,需要维护各个环境的 scm server 地址(http://10.x.x.x:7180) 给每个 scm server 申请域名,但域名的变更需要走流程 方案 采取前后端分离部署方案(nigi 阅读全文
posted @ 2024-11-01 12:20 iKinson 阅读(80) 评论(0) 推荐(0)