随笔分类 -  hadoop

摘要:Hive 有三种搭建模式 local模式 (本地derby) 连接到一个In-memory 的数据库Derby(自带的),一般用于Unit Test Hive单用户模式(本地mysql) 需要在本地运行一个mysql服务器 Hive多用户模式(远程服务模式,mysql在远端) 用于非Java客户端访 阅读全文
posted @ 2017-08-18 21:59 toov5 阅读(151) 评论(0) 推荐(0) 编辑
摘要:关于元数据的checkpoint 每隔一段时间,会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地,并加载到内存进行merge(这个过程称为checkpoint) namenode和secondary namenode的工作目录存储结 阅读全文
posted @ 2017-08-17 14:46 toov5 阅读(386) 评论(0) 推荐(0) 编辑
摘要:注意各个主机之间的通信 文件的复制 scp指令 scp /etc/profile acm03:/etc 所有历史版本: archive.apache.org hdfs://acm01:9000 hdfs是个协议 然后 访问谁 哪个端口 统一资源定位符URL 客户端统统 找nameinode 访问它 阅读全文
posted @ 2017-08-03 17:34 toov5 阅读(151) 评论(0) 推荐(0) 编辑