07 2023 档案

暑假第四周总结
摘要：本周花在学习上的时间大概为22小时，花在代码上的时间大概为12小时。花在解决问题上的时间大概为4小时。本周，我用大数据技术进行了具体的实践，包括需求分析、加载数据、ETL数据清洗转换、指标统计以及用BI进行可视化展示。 阅读全文
posted @ 2023-07-29 16:58 万事胜意k 阅读(15) 评论(0) 推荐(0)
暑假第三周总结
摘要：本周花在学习上的时间大概为21小时，花在代码上的时间大概为11小时。花在解决问题上的时间大概为4小时。本周，我学习了hive数据库的使用及外部客户端(DataGrip)链接hive，包括创建数据库，删除数据库，数据库和hdfs的关系，创建表的语法，数据类型，内部表，外部表，数据的导入和导出，分区表， 阅读全文
posted @ 2023-07-22 08:46 万事胜意k 阅读(18) 评论(0) 推荐(0)
启动Hadoop时需要进行的操作
摘要：首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese 阅读全文
posted @ 2023-07-15 16:34 万事胜意k 阅读(234) 评论(0) 推荐(0)
暑假第二周总结
摘要：本周花在学习上的时间大概为23小时，花在代码上的时间大概为11小时。花在解决问题上的时间大概为4小时。本周学习到的内容有HDFS集群启停命令，如何使用命令操作HDFS文件系统，并在DataGrip中安装了图形化Big Data Tools插件用于对HDFS中文件的操作，HDFS的存储原理及数据的读写 阅读全文
posted @ 2023-07-15 16:03 万事胜意k 阅读(24) 评论(0) 推荐(0)
idea创建Package时出现包名累加，而不是树形结构
摘要：点击右侧设置键，将Compact Middle Packages的勾去掉 阅读全文
posted @ 2023-07-13 21:52 万事胜意k 阅读(102) 评论(0) 推荐(0)
yarn : 无法加载文件 E:\nodejs\yarn.ps1，因为在此系统上禁止运行脚本。问题解决
摘要：1.在电脑的开始菜单中，搜索 PowerShell , 然后以管理员身份运行，如下所示： 2.以管理员身份运行后，会出现命令窗口，接下来，输入命令 get-ExecutionPolicy 查看权限, 会看到它的返回值是 Restricted , 意思是 当前是禁用的。 3.执行命令：set-Exec 阅读全文
posted @ 2023-07-13 21:39 万事胜意k 阅读(758) 评论(0) 推荐(0)
Hadoop中hive的使用
摘要：启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 阅读全文
posted @ 2023-07-11 10:14 万事胜意k 阅读(105) 评论(0) 推荐(0)
Hadoop中web ui页面
摘要：hdfs: node1:9870 yarn: node1:8088 Spark: Spark master:node1:8081(8080端口被zookeeper占用) Spark History Server:node1:18080 阅读全文
posted @ 2023-07-10 18:43 万事胜意k 阅读(65) 评论(0) 推荐(0)
Hadoop中YARN集群启停命令
摘要：一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start| 阅读全文
posted @ 2023-07-10 18:42 万事胜意k 阅读(208) 评论(0) 推荐(0)
暑假第一周总结
摘要：本周花在学习上的时间大概为22小时，花在代码上的时间大概为12小时。花在解决问题上的时间大概为4小时。本周完成了对Linux系统的学习，安装了vm虚拟机，配置了3个centos虚拟机，完成了虚拟机之间的免密登录等一系列的操作，虚拟机配置了java环境，hadoop环境，部署了HDFS集群。了解了大数 阅读全文
posted @ 2023-07-09 10:18 万事胜意k 阅读(17) 评论(0) 推荐(0)