随笔分类 -  大数据

Hadoop Windows下安装
摘要：1.下载 winutils：https://github.com/s911415/apache-hadoop-3.1.0-winutils，替换bin文件 hadoop：3.2.0 tar 解压 2.环境变量 hadoop version验证 问题：Error：java_home is incorr 阅读全文
posted @ 2024-09-19 16:01 lwx_R 阅读(84) 评论(0) 推荐(0)
Hadoop
摘要：1.概念 分布式系统基础架构。主要包括分布式文件系统HDFS（Hadoop Distributed File System）​、分布式计算系统Map Reduce和分布式资源管理系统YARN 大数据生态：Hive Pig Sqoop Flume Oozie Mahout 2.HDFS 分布式文件系统 阅读全文
posted @ 2024-09-18 15:00 lwx_R 阅读(38) 评论(0) 推荐(0)
HBase
摘要：hdfs为数据存储，一种分布式，可拓展的NoSQL数据库 1.概念 1.1 数据模型 基于BigTable，一个稀疏的，分布式的，持久的多维排序map。 该map由行键，列键和时间戳索引，map中每一值都是一个未解释的字节数组。 HBase使用和BigTable相似的数据模型，用户将数据行存储在带标 阅读全文
posted @ 2024-08-06 14:07 lwx_R 阅读(21) 评论(0) 推荐(0)