随笔分类 -  Hadoop学习笔记

Hadoop学习笔记
摘要:1、HiveServer2和beeline -->JDBC接口 1)bin/Hiveserver2 bin/beeline !connect jdbc:hive2://localhost:10000 user passwd org.apache.hive.jdbc.HiveDriver 2)bin/ 阅读全文
posted @ 2017-04-17 17:42 阿杜&eason 阅读(1122) 评论(0) 推荐(0)
摘要:1、配置 1)解压到/opt/moduels 2)配置HIVE_HOME 3)配置HADOOP_HOME和HIVE_CONF_DIR到hive-env.sh 4)在HDFS文件系统上创建HIVE元数据存储目录并赋予权限 5)bin/hive -->使用sql语句 2、安装MySQL并配置 1)unz 阅读全文
posted @ 2017-04-17 12:44 阿杜&eason 阅读(321) 评论(0) 推荐(0)
摘要:1、云盘存储系统通过HDFS实现 2、Hadoop三大发行版本 1)apache -->基础版本,实际企业使用比较少 2)cloudera -->CDH(Cloudera的Hadoop发行版) ClouderaManager(集群软件分发及管理监控) 3)Hortonworks -->HDP(Hor 阅读全文
posted @ 2017-03-30 15:55 阿杜&eason 阅读(264) 评论(0) 推荐(0)
摘要:1、HDFS架构、启动过程 1)开发环境的准备 a.安装Maven(用于管理项目依赖包) 将apache-maven-3.0.5.tar.gz解压到/opt/models目录下 配置/etc/profile增加MAVEN_HOME和PATH,source /etc/profile 退出重新登录mvn 阅读全文
posted @ 2017-03-21 20:36 阿杜&eason 阅读(189) 评论(0) 推荐(0)
摘要:1、apache软件归档:archive.apache.org/dist/ 2、HDFS >NAMENODE + DATANODE + SECONDER NAMENODE 3、YARN >Resource Manager >App Manager + Resource Scheduler + Nod 阅读全文
posted @ 2017-02-09 16:12 阿杜&eason 阅读(192) 评论(0) 推荐(0)