随笔分类 -  大数据

摘要:准备工作 下载 hadoop-3.4.0 下载jdk8 环境配置 export JAVA_HOME=/usr/local/jdk8 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/usr/local/hadoop-3.4.0 # 这是我部署H 阅读全文
posted @ 2025-05-04 17:20 程序员の奇妙冒险 阅读(20) 评论(0) 推荐(0)
摘要:在 https://www.cnblogs.com/osinn/p/18813258 这篇文章中讲述了Hadoop使用MapReduce实现经典单词统计案例,这次写一篇如何使用Hive代替MapReduce实现单词统计 准备本地文本文件 首先本地磁盘创建一个wordcount.txt文件,并且添加以 阅读全文
posted @ 2025-04-10 11:31 程序员の奇妙冒险 阅读(49) 评论(0) 推荐(0)
摘要:jdk环境变量配置tools.jar # ./hadoop com.sun.tools.javac.Main WordCount.java 变量需要的环境变量配置 export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar 命令方式编译java文件 创建Wo 阅读全文
posted @ 2025-04-08 14:28 程序员の奇妙冒险 阅读(132) 评论(0) 推荐(0)
摘要:加载本地驱动 连接提示缺少日志依赖包 将phoenix 目录下有个lib目录,将里面的log4j依赖包也加载加载进来即可,如图上图所示 阅读全文
posted @ 2025-04-03 15:34 程序员の奇妙冒险 阅读(78) 评论(0) 推荐(0)
摘要:以下脚本文件必须执行 chmod +x xxx.sh 设置为可执行文件,否则执行刷新环境变量配置文件时会提示命令不存在 source: not found 一键配置jdk脚本 #!/bin/bash # 查找当前目录下的JDK安装包 jdk_package=$(ls | grep -i "jdk.* 阅读全文
posted @ 2025-04-03 14:42 程序员の奇妙冒险 阅读(68) 评论(0) 推荐(0)