随笔分类 -  大数据技术

这里是有关环境搭建以及大数据技术的指导噢，对你有帮助是我的荣幸
MapReduce实操
摘要：分布式并行编程技术 阅读全文
posted @ 2021-12-10 23:46 边缘之地 阅读(183) 评论(0) 推荐(0)
Windows下配置eclipse访问hadoop文件系统
摘要：启动hadoop服务 首先需要启动你虚拟机(master)安装的hadoop服务 然后可在浏览器上（宿主机）输入安装hadoop的虚拟机ip:50070可以网页的形式查看你的hadoop服务 配置windows环境 jdk安装并配置（jdk还没配置的小可爱自行解决哦） 安装eclipse(注意ecl 阅读全文
posted @ 2021-11-21 23:46 边缘之地 阅读(323) 评论(0) 推荐(0)
时间同步
摘要：同步当前时间：输入命令：date -s 日期/时间 举个例子 date -s 2021/09/23 date -s 19:12:00 显示此机器当前安装的内容：rpm -qa（其中rpm是一种安装方式，参数-q表示查看，参数-a表示所有） 输入命令 rpm -qa|grep ntp #检查ntp服务 阅读全文
posted @ 2021-11-03 16:14 边缘之地 阅读(282) 评论(0) 推荐(0)
Hive的安装配置
摘要：角色分工： master角色：hive客户端 slave1角色：hive服务器 slave2角色：安装mysql slave2角色：安装mysql 安装wgetyum -y install wget 下载mysql的repo源wget http://repo.mysql.com/mysql57-co 阅读全文
posted @ 2021-10-28 22:13 边缘之地 阅读(68) 评论(0) 推荐(0)
hadoop安装配置
摘要：master下创建安装目录 mkdir /usr/hadoop 解压hadoop安装包到安装目录 tar -zxvf /root/software/hadoop-2.7.3.tar.gz -C /usr/hadoop/ 配置环境变量 vi /etc/profile #hadoop envirment 阅读全文
posted @ 2021-10-28 22:11 边缘之地 阅读(81) 评论(0) 推荐(0)
Hbase的安装和配置
摘要：创建安装目录mkdir /usr/hbase 解压hbase压缩文件tar -zxvf /root/software/hbase-1.2.4-bin.tar.gz -C /usr/hbase 修改配置文件hbase-env.shvi /usr/hbase/hbase-1.2.4/conf/hbase 阅读全文
posted @ 2021-10-28 22:11 边缘之地 阅读(65) 评论(0) 推荐(0)
zookeeper的安装配置
摘要：master下创建目录mkdir /usr/zookeeper 解压压缩包tar -xzvf /root/software/zookeeper-3.4.10.tar.gz -C /usr/zookeeper/ 修改配置文件 vi /etc/hosts 192.168.13.101 master ma 阅读全文
posted @ 2021-10-28 22:11 边缘之地 阅读(74) 评论(0) 推荐(0)
设置免密登录
摘要：免密的核心： 1.每个节点都要生成秘钥（使用公钥id_rsa.pub(或id_dsa.pub)进行免密） 2.每个文件的/root/.ssh目录下都要有authorized_keys文件 且auhtorized_keys文件中存放所有免密关联的机器的公钥 对master进行自身免密 启动ssh服务： 阅读全文
posted @ 2021-10-28 22:08 边缘之地 阅读(161) 评论(0) 推荐(0)
配置主从三台虚拟机
摘要：1.配置每台虚拟机网络： root下：输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 单击i进入编辑 修改BOOTPROTO=dhcp为BOOTPROTO=static 修改ONBOOT=no为ONBOOT=yes 末尾添加IPADDR(ip地址 阅读全文
posted @ 2021-10-28 22:08 边缘之地 阅读(302) 评论(0) 推荐(0)
安装JDK
摘要：准备软件 在/root/目录下创建software/目录 把JDK安装包放到该目录中(还有许多环境需要的安装包，宝子们的版本可能与笔者不同，后面的代码请注意更改哦！！！) 可使用Xshell进行主电脑与虚拟机之间的文件传输,这里有Xshell安装源哦 解压压缩包 创建目录mkdir /usr/jav 阅读全文
posted @ 2021-10-28 22:08 边缘之地 阅读(33) 评论(0) 推荐(0)
大数据环境搭建
摘要：这里介绍的是基于Linux操作系统CentOS7虚拟机的分布式集群环境 阅读全文
posted @ 2021-10-27 20:41 边缘之地 阅读(140) 评论(0) 推荐(0)