启动分布式mapreduce的过程以及prompt

  • 打开docker desktop,启动5个节点
  • 用VS Code连接到第一个节点
  • 为每个节点打开SSH服务service ssh start
  • 每个节点运行cd /usr/local/hadoop-3.4.0/sbin && ./stop-all.sh && rm -rf /usr/local/hadoop-3.4.0/etc/hadoop/tmp/dfs/data/*
  • 进入h01,执行./start-all.sh并查看状态cd /usr/local/hadoop-3.4.0/bin && ./hadoop dfsadmin -report
  • 然后在h0的工作目录下创建当前实验的project目录,将VS Code切换到这个目录之后再使用AI;prompt:
    我现在启动了一个分布式MapReduce,HDFS状态如下:
    \```
    <HDFS装填>
    \```
    其中h0是主节点,我使用了`start-all.sh`来启动集群:
    \```
    <start-all.sh的运行结果>
    \```
    现在我需要你完成一个任务,任务的描述如下:
    <任务描述>
    请你先仔细阅读相关文件,理解他们的含义逻辑和结构,然后完成上面的任务。
    你应该使用Python/Java编写代码,注意请不要在注释中使用中文,注释也应该使用英文。
    请不要仅仅编写代码,在编写代码之后,请将所有代码跑通得到最终结果。
    
posted @ 2025-10-25 23:34  最爱丁珰  阅读(1)  评论(0)    收藏  举报