随笔分类 - Hadoop学习笔记
Hadoop学习笔记
摘要:1、HiveServer2和beeline -->JDBC接口 1)bin/Hiveserver2 bin/beeline !connect jdbc:hive2://localhost:10000 user passwd org.apache.hive.jdbc.HiveDriver 2)bin/
阅读全文
摘要:1、配置 1)解压到/opt/moduels 2)配置HIVE_HOME 3)配置HADOOP_HOME和HIVE_CONF_DIR到hive-env.sh 4)在HDFS文件系统上创建HIVE元数据存储目录并赋予权限 5)bin/hive -->使用sql语句 2、安装MySQL并配置 1)unz
阅读全文
摘要:1、云盘存储系统通过HDFS实现 2、Hadoop三大发行版本 1)apache -->基础版本,实际企业使用比较少 2)cloudera -->CDH(Cloudera的Hadoop发行版) ClouderaManager(集群软件分发及管理监控) 3)Hortonworks -->HDP(Hor
阅读全文
摘要:1、HDFS架构、启动过程 1)开发环境的准备 a.安装Maven(用于管理项目依赖包) 将apache-maven-3.0.5.tar.gz解压到/opt/models目录下 配置/etc/profile增加MAVEN_HOME和PATH,source /etc/profile 退出重新登录mvn
阅读全文
摘要:1、apache软件归档:archive.apache.org/dist/ 2、HDFS >NAMENODE + DATANODE + SECONDER NAMENODE 3、YARN >Resource Manager >App Manager + Resource Scheduler + Nod
阅读全文

浙公网安备 33010602011771号