摘要：
打开IDEA，File——new ——Project，新建一个项目 我们已经安装好了maven，不用白不用 这里不要选用骨架，Next。在写上Groupid，Next。 写上项目名称，finish。ok。 一个项目就建好了，他长这样： 新建的项目要配置一下maven。毕竟我们马上就要用它。然后导入依 阅读全文
posted @ 2022-04-07 23:06
码码小菜鸟
阅读(143)
评论(0)
推荐(0)
摘要：
先贴一战mr流程图，新手朋友不要看见这个图就头晕，我们后续会使用java API实现几个案例，帮助我们更好的理解各个环节，比如切片，文件读取，Map，combine，Reduce，shuffle等等。案例写完以后相信对mr流程会有一个比较深刻的理解。 具体的太理论的东西没什么好讲的，我们这里比较偏重 阅读全文
posted @ 2022-04-07 21:44
码码小菜鸟
阅读(63)
评论(0)
推荐(0)
摘要：
1，下载Hadoop，解压 2，配置Hadoop环境变量 右键此电脑——属性 高级系统设置 环境变量 新建一个HADOOP_HOME 添加到path 3，cmd窗口查看安装情况：hadoop version 阅读全文
posted @ 2022-04-07 20:53
码码小菜鸟
阅读(219)
评论(0)
推荐(0)
摘要：
现在Hadoop集群已经搭建好了，也了解了Hadoop操作的一些基本命令。现在我们要用java操作Hadoop。这里我们使用的ide是IDEA和maven。IDEA的话去官网下载一个，用激活码激活就ok。maven我用的是3.83版本，下载安装就行。注意配置一下环境变量。在配置文件里面修改一下本地仓 阅读全文
posted @ 2022-04-07 20:33
码码小菜鸟
阅读(39)
评论(0)
推荐(0)
摘要：
1，我们在第一个节点上创建一个文件：vim word.txt -hdfs dfs -put(原文件目录) （目标文件目录）这是一个上传文件的命令 输入命令：hdfs dfs -put /opt/data/words.txt / 这个命令的意思就是我们要从linux上上传一个文件到hdfs，这个文件的 阅读全文
posted @ 2022-04-07 16:42
码码小菜鸟
阅读(1826)
评论(0)
推荐(0)
摘要：
我们创建了三台虚拟机，不同的机器有不同的角色，我们需要做一个部署规划 hdfs系统分配：101是namenode，接收客户端请求，保存元数据，当然了，这台机器空闲资源的时候，也可以做一些计算存储，给他分配一个datanode的角色。102数据主要用来存储数据内容存储数据块，同时存储block的元数据 阅读全文
posted @ 2022-04-07 16:16
码码小菜鸟
阅读(156)
评论(0)
推荐(0)
浙公网安备 33010602011771号