随笔分类 -  大数据学习

Spark安装(黑马程序员文档)
摘要：Spark Local环境部署 下载地址 Spark https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.4.1/ Anaconda https://mirrors.tuna.tsinghua.edu.cn/anaconda/archi 阅读全文
posted @ 2023-08-10 21:47 万事胜意k 阅读(467) 评论(0) 推荐(0)
Zookeeper安装
摘要：简介 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 除了为Hadoop和HBase提供协调服务外，Zookeeper也被其它许多软件采用作 阅读全文
posted @ 2023-08-10 17:06 万事胜意k 阅读(50) 评论(0) 推荐(0)
Sqoop 连接mysql 错误 java.lang.NoClassDefFoundError（已解决）
摘要：错误信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils at org.apache.sqoop.manager.MySQLManager.initOptio 阅读全文
posted @ 2023-08-08 17:02 万事胜意k 阅读(220) 评论(0) 推荐(0)
Apache Sqoop安装
摘要：1.切换到/export/server 2.上传并解压 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0 3.设置软连接 ln -s sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 4.切换到/sqoop/conf 将sqoop-env-templ 阅读全文
posted @ 2023-08-08 17:01 万事胜意k 阅读(67) 评论(0) 推荐(0)
FineBI连接hive出现中文乱码问题（已解决）
摘要：出现下列情况 解决方法： hive 的注释(comment) 中文乱码的解决方法 解决后 阅读全文
posted @ 2023-08-03 10:48 万事胜意k 阅读(502) 评论(0) 推荐(0)
启动Hadoop时需要进行的操作
摘要：首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese 阅读全文
posted @ 2023-07-15 16:34 万事胜意k 阅读(234) 评论(0) 推荐(0)
Hadoop中hive的使用
摘要：启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 阅读全文
posted @ 2023-07-11 10:14 万事胜意k 阅读(105) 评论(0) 推荐(0)
Hadoop中web ui页面
摘要：hdfs: node1:9870 yarn: node1:8088 Spark: Spark master:node1:8081(8080端口被zookeeper占用) Spark History Server:node1:18080 阅读全文
posted @ 2023-07-10 18:43 万事胜意k 阅读(65) 评论(0) 推荐(0)
Hadoop中YARN集群启停命令
摘要：一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start| 阅读全文
posted @ 2023-07-10 18:42 万事胜意k 阅读(208) 评论(0) 推荐(0)
Hadoop中HDFS集群启停命令
摘要：一键启停脚本 # 一键启动hdfs集群 start-dfs.sh # 一键关闭hdfs集群 stop-dfs.sh 单进程启停 $HADOOP_HOME/sbin/hadoop-daemon.sh，此脚本可以单独控制所在机器的进程的启停 用法: hadoop-daemon.sh (start|sta 阅读全文
posted @ 2023-06-24 15:46 万事胜意k 阅读(87) 评论(0) 推荐(0)