02_自建服务器学习记录 - 随笔分类 - 莳曳

摘要：使用beeline连接：1.启动集群 2.启动metastore服务 3.启动hiveserver2服务，使用命令 ! connect jdbc:hive2://hadoop102:10000连接hadoop102 阅读全文

posted @ 2021-08-28 22:57 莳曳阅读(2774) 评论(0) 推荐(0)

摘要：安装mysql 远程模式部署安装mysql部分与上文Hadoop_Hive本地模式部署几乎没有区别，请诸佬参考上文的安装mysql部分根据自身情况进行操作配置hive 配置hive部分与Hadoop_Hive本地模式部署有些许区别，本蒟蒻就复制重写一遍吧（本篇只涉及hive客户端上传并解压安装包阅读全文

posted @ 2021-08-26 14:54 莳曳阅读(1391) 评论(0) 推荐(0)

Hadoop_Hive本地模式部署

摘要：mysql安装此过程最好使用root用户来执行，因为一些权限问题，使用root会更方便卸载CentOS7自带的mariadb 列出所有被安装的rpm package：rpm -qa|grep mariadb 卸载：rpm -e mairadb package 如果有错误：依赖检测失败：云云~~ 阅读全文

posted @ 2021-08-25 19:16 莳曳阅读(258) 评论(0) 推荐(0)

Hadoop_Hive内嵌模式安装

摘要：下载Hive安装包上传到服务器中解压 tar zxvf apache-hive-3.1.2-bin hive 解决 hadoop 与 hive 之间的 guava 版本差异把 hive 中的 guava 删除 #当前处于hive根目录 rm -rf lib/guava-19.0.jar 将 h 阅读全文

posted @ 2021-08-24 11:12 莳曳阅读(119) 评论(0) 推荐(0)

Hadoop_MapReduc Writable案例

摘要：项目的其他文件已在WordCount案例中完成了只需完成FlowBean类型文件和对其中的Mapper,Reducer,Driver文件进行修改即可 FlowBean.java package org.cheetah.mapreduce.writable; import org.apache.ha 阅读全文

posted @ 2021-08-12 21:11 莳曳阅读(63) 评论(0) 推荐(0)

Hadoop_MapReduc WordCount案例

摘要：新建Maven项目在pom.xml中写入 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2 阅读全文

posted @ 2021-08-11 16:44 莳曳阅读(60) 评论(0) 推荐(0)

Hadoop_HDFS DataNode掉线操作与 HDFS学习小结

摘要：模拟DataNode掉线：先查找进程编号：找到后执行kill命令：kill -9 1328 这样DataNode进程就节点就被停止了观察到原来的上次节点更新时间也开始变长了但只要重新启动DataNode就可以恢复：hdfs --daemon start datanode 掉线时限参数可根据自阅读全文

posted @ 2021-08-10 10:45 莳曳阅读(480) 评论(0) 推荐(0)

Hadoop_HDFS_API 获取文件详细信息和判断文件文件夹

摘要：获取文件详细信息如要获取 Permission Owner 等信息可在 HdfsClient.java 中编写fileDetail() 函数用于获取文件的详细信息 //获取文件信息 @Test public void fileDetail() throws IOException { //获取所有阅读全文

posted @ 2021-08-05 21:59 莳曳阅读(512) 评论(0) 推荐(0)

Hadoop_HDFS_API 文件的下载、删除、更名和移动

摘要：文件下载在 HdfsClient.java 中编写 textGet 函数用于本地从服务器上下载文件关于 copyToLocalFile() 参数的解读：参数一：是否在下载后删除源文件参数二：源文件的路径（HDFS 参数三：目标地址路径（Win 参数四：否是开启本地校验 true → 不开启校阅读全文

posted @ 2021-08-05 19:07 莳曳阅读(642) 评论(0) 推荐(0)

Hadoop_HDFS_API 参数的优先级

摘要：在上传操作后，发现上传的副本数量为 $3$ ,这是因为在 hdfs-default.xml 中默认的dfs.replication 为 $3$ 这其中涉及到参数的优先级优先级：hdfs-default.xml $<$ hdfs-site.xml $<$ 在项目资阅读全文

posted @ 2021-08-05 18:27 莳曳阅读(139) 评论(0) 推荐(0)

Hadoop_HDFS_API创建文件夹

摘要：前提：HDFS集群启动正常建议：在IDEA上安装大数据插件新建一个marven项目并导入相应的依赖坐标**+**日志添加 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-cl 阅读全文

posted @ 2021-03-10 17:52 莳曳阅读(625) 评论(0) 推荐(0)

hdfs的基本操作

摘要：HDFS相关基本操作上传 -moveFromLocal 从本地剪切粘贴到HDFS -copyFromLocal 从本地拷贝粘贴到HDFS -put 等同于-copyFromLocal 从本地拷贝粘贴到HDFS -appendToFile 追加一个文件到一个已存在的文件末尾下载 -copyToLo 阅读全文

posted @ 2021-03-10 17:44 莳曳阅读(121) 评论(0) 推荐(0)

Hadoop 入门的两道面试题

摘要：一、常用端口号 hadoop3.x HDFS NameNode 内部通讯端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9820 Yarn 查看任务运行情况的端口：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通讯端口：802 阅读全文

posted @ 2021-03-06 17:44 莳曳阅读(109) 评论(0) 推荐(0)

Hadoop 一键启动停止集群和查看节点服务运行情况的脚本配置

摘要：centos7 启动停止集群脚本配置完成后启动集群命令：myhadoop.sh start 关闭集群命令：myhadoop.sh stop 单节点启动命令（以启动datanode为例）：hdfs --daemon start datanode 在 /home/用户名/bin 中新建文件 myha 阅读全文

posted @ 2021-03-06 17:34 莳曳阅读(1021) 评论(0) 推荐(0)

Hadoop 日志聚集功能配置

摘要：增加以下内容到 yarn-site.sh 中   <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 阅读全文

posted @ 2021-03-06 16:38 莳曳阅读(62) 评论(0) 推荐(0)

Hadoop 执行 wordcount 出错 exit code 127 可能问题解决

摘要：题面：启动集群正常运行 wordcount 脚本时出现错误如下： 2021-03-06 10:46:36,826 INFO mapreduce.Job: map 0% reduce 0% 2021-03-06 10:46:36,845 INFO mapreduce.Job: Job job_16 阅读全文

posted @ 2021-03-06 12:20 莳曳阅读(3043) 评论(2) 推荐(0)

Hadoop 配置历史服务器

摘要：配置文件 mapred-site.xml 加入以下代码  <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服阅读全文

posted @ 2021-03-05 19:16 莳曳阅读(120) 评论(0) 推荐(0)

Hadoop 集群崩溃操作办法

摘要：杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化在 hadoop 根目录下执行 hdfs namenode 阅读全文

posted @ 2021-03-05 18:11 莳曳阅读(102) 评论(0) 推荐(0)

Hadoop 群起集群并测试

摘要：配置 workers vim $HADOOP_HOME/etc/hadoop/workers 修改为以下内容 hadoop102 hadoop103 hadoop104 注：文中不要有空行文末不要有空格同步更改到其他服务器上 xsync workers 启动集群注：第一次启动集群需要初始化初阅读全文

posted @ 2021-03-05 17:35 莳曳阅读(175) 评论(0) 推荐(0)

Hadoop 服务器集群文件配置

摘要：服务器间的 hadoop 集群配置应用操作以建立服务器之间的链接到达指定目录 cd $HADOOP_HOME/etc/hadoop/ 修改四个文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml <!-- core-site.x 阅读全文

posted @ 2021-03-05 11:20 莳曳阅读(171) 评论(0) 推荐(0)

Key Key Key

ψ(｀∇´)ψ

随笔分类 - 02_自建服务器学习记录

公告