随笔分类 -  Hadoop相关软件安装

安装Hbase
摘要：假设已经下载好hbase-1.1.5-bin.tar.gz在download目录下。 添加HBase权限 Hbase伪分布式配置 在hbasee-env.sh添加如下内容 配置/usr/local/hbase/conf/hbase-site.xml 然后测试运行HBase 输入jps后能显示如下内容 阅读全文
posted @ 2019-10-05 13:51 ZJdiem 阅读(205) 评论(0) 推荐(0)
安装sbt
摘要：sbt是一款Spark用来对scala编写程序进行打包的工具。 假设已经下载好sbt-launch.jar在download目录下，执行如下命令，将sbt安装在 /usr/local/sbt 中 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： 保存后 阅读全文
posted @ 2019-10-04 18:28 ZJdiem 阅读(719) 评论(0) 推荐(0)
安装Spark
摘要：假设已经下载好spark-2.3.3-bin-hadoop.tgz在download目录下 这里采用Local模式（单机模式）的 Spark安装。 安装后，还需要修改Spark的配置文件spark-env.sh 编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第 阅读全文
posted @ 2019-10-04 18:20 ZJdiem 阅读(118) 评论(0) 推荐(0)
启动YARN
摘要：启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。 首先修改配置文件 mapred-site.xml，需要先进行重命名： 然后再进行编辑( gedit ./etc/hadoop/mapred-site.xml )： 接着修改 阅读全文
posted @ 2019-10-04 14:03 ZJdiem 阅读(1532) 评论(0) 推荐(0)
Ubuntu配置PATH环境变量
摘要：PATH 环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若 阅读全文
posted @ 2019-10-04 13:48 ZJdiem 阅读(883) 评论(0) 推荐(0)
安装hadoop
摘要：假设已经下载好hadoop-2.7.1在download目录下。 将 Hadoop 安装至 /usr/local/ 中： 输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息： Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程 阅读全文
posted @ 2019-10-04 13:39 ZJdiem 阅读(209) 评论(0) 推荐(0)
安装SSH、配置SSH无密码登陆
摘要：集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server： 安装后，可以使用如下命令登陆本机： 但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登 阅读全文
posted @ 2019-10-04 13:08 ZJdiem 阅读(274) 评论(0) 推荐(0)
ubuntu安装java环境
摘要：假设已经下载好JDK1.8的安装包jdk-8u162-linux-x64.tar.gz在Download目录下 设置环境变量，打开当前用户./bashrc环境变量配置文件 在这个文件的开头位置，添加如下几行内容（i插入）： 保存.bashrc文件并退出vim编辑器(编辑完后Esc退出编辑，再输入“: 阅读全文
posted @ 2019-10-04 13:03 ZJdiem 阅读(1558) 评论(0) 推荐(0)
文档数据库MongoDB安装教程
摘要：注：该教程转自厦门大学大数据课程学习总结 一、MongoDB介绍 二、安装MongoDB MongoDB安装很简单，无需下载源文件，可以直接用apt-get命令进行安装。如果网速太差，并且已经下载MongoDB的安装包时，可以离线方式安装，推荐使用apt-get命令进行在线安装，可以避免很多莫名其妙 阅读全文
posted @ 2019-08-27 18:11 ZJdiem 阅读(192) 评论(0) 推荐(0)
Spark安装教程
摘要：注：该教程转自厦门大学大数据课程学习总结 Spark的安装过程较为简单，在已安装好 Hadoop 的前提下，经过简单配置即可使用。 安装Spark sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr 阅读全文
posted @ 2019-08-27 18:01 ZJdiem 阅读(567) 评论(0) 推荐(0)
数据仓库hive安装教程
摘要：注：该教程转自厦门大学大数据课程学习总结 一、安装hive 1. 下载好hive之后，解压hive源程序 sudo tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo 阅读全文
posted @ 2019-08-27 17:56 ZJdiem 阅读(785) 评论(0) 推荐(0)
HBase安装教程
摘要：注：该教程转自厦门大学大数据课程学习总结 一、HBase介绍 二、安装并配置HBase 1. HBase安装 1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local，命令如下： sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz - 阅读全文
posted @ 2019-08-27 17:46 ZJdiem 阅读(1596) 评论(0) 推荐(0)
在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04
摘要：注：该教程转自厦门大学大数据课程学习总结 装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做一些必备工作。 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。 首先按 ctrl+alt+t 打开终端窗口， 阅读全文
posted @ 2019-08-27 17:34 ZJdiem 阅读(1223) 评论(0) 推荐(0)
在Windows中使用VirtualBox安装Ubuntu
摘要：注：该教程转自厦门大学大数据课程学习总结 一.材料和工具 1. 安装好的VirtualBox虚拟机软件 2. Ubuntu LTS 14.04 ISO映像文件 二.步骤 (一)确认系统版本 上面已经提供32位和64位Ubuntu系统的下载地址。如果您的电脑较新或者内存大于4G，建议您选择64位的Ub 阅读全文
posted @ 2019-08-27 17:01 ZJdiem 阅读(1303) 评论(0) 推荐(0)