2024年12月24日记

今天我上午复习了习思想然后，下午进行了软件案例分析的验收。

下面是关于mapreduce运行java程序的操作

用java代码编写好程序后将程序打成jar包


上传到linux系统中然后
启动hdfs
start-dfs.sh
启动yarn
start-yarn.sh
创建input
hdfs dfs -mkdir -p /user/root/input
将两个文件上传到hdfs中管理
hadoop fs -put /export/wordcount/wordfile1.txt /user/root/input/
hadoop fs -put /export/wordcount/wordfile2.txt /user/root/input/
启动程序
hadoop jar /export/WordCount.jar /user/root/input /user/root/output


MapReduce实际应用有Hadoop，Google Search。
MapReduce 是一个非常强大的工具，它通过Map 和 Reduce 操作能处理海量数据，使得分布式数据处理任务变得更加简便和高效。同时，MapReduce 在处理结构化或半结构化数据时尤其高效，比如日志数据、网页数据和用户行为数据。加快了人们对数据的处理速度和处理能力。