随笔分类 -  Hadoop

摘要:特点: 分布式、可扩展、支持海量数据存储的NoSQL数据库,可以支持海量数据的秒级别查询 逻辑结构: 列族 列 rowkey region:类似关系型数据库的表,是hbase表的横向切片。hbase定义表时,只需要声明列族,不需要声明具体的列。写入数据时可以按需在一个列族中动态扩展列。 store: 阅读全文
posted @ 2021-07-21 20:07 后山前堂客 阅读(87) 评论(0) 推荐(0)
摘要:Yarn主要负责集群的资源管理,以便于在一个集群中运行多种计算框架的任务,比如MR,Spark,Flink等 Yarn主要包括两个组件: ResourceManager: 负责全局资源管理,简称RM 包括Application Manager(AppManager,负责App master管理) 和 阅读全文
posted @ 2021-07-21 11:26 后山前堂客 阅读(370) 评论(0) 推荐(0)
摘要:配置ssh 允许本机远程连接: 系统偏好设置->共享->点击选中 远程登录 【否则报错:ssh: connect to host localhost port 22: Connection refused】 允许免密ssh ssh-keygen -t rsa【一直回车到底】 cat ~/.ssh/i 阅读全文
posted @ 2020-02-01 18:26 后山前堂客 阅读(522) 评论(0) 推荐(0)
摘要:1.单机(非分布式)模式 这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统,一般仅用于本地MR程序的调试 2.伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker 阅读全文
posted @ 2018-06-03 20:19 后山前堂客 阅读(6775) 评论(0) 推荐(1)