随笔分类 -  大数据

错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
摘要：关于zookeeper在Windows中解压压缩包启动zookeeper时报错 错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain 排除数据路径问题，报错是找不到类包缺少lib这个jar包文件夹 解决首先配置配置文件数据存 阅读全文
posted @ 2021-06-09 20:48 漫步花海下的oldman 阅读(2926) 评论(0) 推荐(0)
ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
摘要：Hadoop完全分布式搭建初始化失败 暂未解决 阅读全文
posted @ 2020-08-22 17:08 漫步花海下的oldman 阅读(1503) 评论(2) 推荐(0)
sqoop基本使用
摘要：一、导入MySQL数据库参数： 通用参数： --connect --username password 指定数据库连接密码（明文） -P 交互式的指定密码 --password-file 2.导入控制参数--选择部分数据导入 --query (导入id条件数据记录） sqoop import --c 阅读全文
posted @ 2020-04-18 09:40 漫步花海下的oldman 阅读(123) 评论(0) 推荐(0)
mapreduce API 文档
摘要：MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf：MapReduce作业 阅读全文
posted @ 2019-11-27 16:22 漫步花海下的oldman 阅读(612) 评论(0) 推荐(0)
sqoop-1.4.7完全分布式安装
摘要：解压安装：# tar -zxvf 解压目录/安装包 -C 解压至目录 配置环境变量 # vi /etc/profile 添加export SQOOP_HOME=/opt/sqoop1.4.6export PATH=$PATH:$SQOOP_HOME/bin 修改sqoop-env.sh # cd / 阅读全文
posted @ 2019-11-06 11:21 漫步花海下的oldman 阅读(382) 评论(0) 推荐(0)
hadoop完全分布式搭建
摘要：一、安装jdk、hadoop 注意在主节点上解压安装 # tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/lcoal/src # tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local 2. 配置环境变量 编辑/etc/pro 阅读全文
posted @ 2019-11-03 20:25 漫步花海下的oldman 阅读(293) 评论(0) 推荐(0)
hadoop分布式配置文件
摘要：配置文件在hadoop文件夹下 /etc/hadoop 1.配置hadoop-env.sh: export JAVA_HOME=/usr/lib/jvm/jdk1.8.201 2.配置core-site.xml文件: <!-- 指定hadoop所使用的文件系统schema（URL)，HDFS的老大（ 阅读全文
posted @ 2019-10-22 09:00 漫步花海下的oldman 阅读(405) 评论(0) 推荐(0)
NameNode和DataNode介绍
摘要：名称节点的数据结构 在HDSFS中，名称节点（namenode）负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog。 名称节点记录了每个文件中各个块所在的数据节点的位置信息。 FsImage用于维护文件系统树以及文件树中所有的文件和文件 阅读全文
posted @ 2019-10-21 20:49 漫步花海下的oldman 阅读(2035) 评论(0) 推荐(0)
zookeeper安装在CentOS7下
摘要：一、将zookeeper解压到自己的文件夹位置 [root@master hadoop]# tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ cd /usr/local 进入解压目录，为了使用方便将zookeeper-3.4.5重命名： [root@ma 阅读全文
posted @ 2019-10-21 20:11 漫步花海下的oldman 阅读(146) 评论(0) 推荐(0)
Linux中hadoop 单机_伪分布_安装与配置
摘要：步骤一：创建 hadoop 用户，并为 hadoop 用户授权 （1） 在一个新的Linux系统CentOS-7-x86_64-DVD-1708.iso中，开始用户是root不是hadoop用户是，那么需要增加一名为Hadoop的用户。执行下面命令查看hadoop用户是否存在。 $cat /etc/ 阅读全文
posted @ 2019-10-07 21:18 漫步花海下的oldman 阅读(825) 评论(0) 推荐(0)