随笔分类 -  大数据

大数据，Hadoop学习记录
Docker部署Springboot WebAPI项目
摘要：确定docker安装好 Client: Version: 20.10.12 API version: 1.41 Go version: go1.17.3 Git commit: 20.10.12-0ubuntu4 Built: Mon Mar 7 17:10:06 2022 OS/Arch: lin 阅读全文
posted @ 2022-10-26 16:25 gisliuliang 阅读(78) 评论(0) 推荐(0)
Hadoop+Python测试wordcount
摘要：1、将测试数据上传到HDFS目录下，这里放到根目录下：/test.txt 2、在master节点中某个目录下：创建mapper、reducer以及run.sh mapper.py import sys for line in sys.stdin: line = line.strip() words 阅读全文
posted @ 2022-09-11 11:13 gisliuliang 阅读(74) 评论(0) 推荐(0)