摘要：
博客二：Hive数据操作、复杂类型与性能优化策略 摘要： 本文是Hive入门的第二周学习总结，聚焦于数据的导入导出、复杂数据类型的应用，以及通过分区和分桶来优化查询性能的核心策略，是构建高效数据仓库的关键。 一、数据操作语言（DML）：加载与导出 使用LOAD命令加载数据 LOAD DATA是一个高 阅读全文
posted @ 2025-09-07 16:01
haoyinuo
阅读(8)
评论(0)
推荐(0)
摘要：
博客一：Hive核心概念与数据定义（DDL）全方位解析 摘要： 本文是分布式SQL计算工具Hive入门的第一周学习总结，全面介绍了Hive的架构核心、数据库与表的创建、管理以及内部表与外部表的本质区别，帮助读者构建坚实的Hive知识基础。 一、Hive是什么？它与HDFS的关系 Apache Hiv 阅读全文
posted @ 2025-08-30 18:51
haoyinuo
阅读(10)
评论(0)
推荐(0)
摘要：
Apache Hive分布式SQL计算平台 主要功能就是将SQL语句翻译成MapReduce程序运行 基于Hive为用户提供分布式SQL计算的能力，写的是SQL、执行的是MapReduce Apache Hive概述 分布式SQL计算 对数据进行统计分析，SQL是目前最为方便的编程工具 前面学习的M 阅读全文
posted @ 2025-08-23 15:29
haoyinuo
阅读(7)
评论(0)
推荐(0)
摘要：
分布式计算和资源调度 分布式计算概述 广义上的计算就是基于数据得出结论的过程（内容分析或者说数据分析） 分布式计算，就是以分布式的形式完成数据的统计，得到需要的结果（靠数据取胜）即多台服务器协同工作，共同完成一个计算任务 分布式计算模式 分散->汇总模式 分片分成多个部分 分散->汇总模式： 1.将 阅读全文
posted @ 2025-08-16 23:45
haoyinuo
阅读(5)
评论(0)
推荐(0)
摘要：
HDFS的存储原理 存储原理 分布式文件存储（每个服务器或者说节点存储文件的一部分） 将文件划分为几个部分，分别存入对应的几个服务器 多个文件也同理 问题：文件大小不一致，不利于同一管理 解决：设定统一的管理单位,block块（HDFS最小存储单位，每个256MB可以修改大小） 问题：如果block 阅读全文
posted @ 2025-08-09 20:18
haoyinuo
阅读(5)
评论(0)
推荐(0)
摘要：
HDFS存储原理 HDFS的Shell操作 进程启停管理 一键启停脚本 Hadoop HDFS组件内置了HDFS集群的一键启停脚本 $HADOOP_HOME/sbin/start-dfs.sh，一键启动HDFS集群 执行原理： 在执行此脚本的机器上，启动SecondaryNameNode 读取cor 阅读全文
posted @ 2025-08-02 12:28
haoyinuo
阅读(6)
评论(0)
推荐(0)
摘要：
大数据概述： 分布式技术完成海量数据的处理 核心工作：从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果 总结为三点：数据计算 数据存储 数据传输 大数据软件生态： 数据存储： Apache Hadoop-HDFS(大数据体系中使用最为广泛的分布式存储技术) Apache HBase(大数 阅读全文
posted @ 2025-07-23 21:26
haoyinuo
阅读(12)
评论(0)
推荐(0)
摘要：
本周主要准备虚拟机上的Linux操作系统环境 学习内容包括： VMware虚拟化软件 Linux操作系统（CenTOS）的基本使用 IP地址、主机名、环境变量等知识点 一、VMware准备Linux虚拟机 由于大一的时候较为完整的学习过Linux的使用，也下载过VMware虚拟化软件，所以下载步骤就 阅读全文
posted @ 2025-07-20 20:22
haoyinuo
阅读(7)
评论(0)
推荐(0)
摘要：
主要是对我这学期参与的团队项目的总结 运维管理子系统团队项目总结报告 一、项目背景与总体情况 本学期我们团队开发的运维管理子系统是一个面向企业IT基础设施管理的综合性平台，采用Spring Boot+Vue.js技术栈实现前后端分离架构。项目历时14周，完成了从需求分析到部署上线的完整开发周期，最终 阅读全文
posted @ 2025-06-13 21:35
haoyinuo
阅读(21)
评论(0)
推荐(0)
摘要：
今日所花时间：一小时 今日代码量：100行 博客量：一篇 了解到的知识点：vue3 这学期学的基础vue3的部分内容整理 vue渲染 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport 阅读全文
posted @ 2025-06-12 19:00
haoyinuo
阅读(8)
评论(0)
推荐(0)
浙公网安备 33010602011771号