摘要： 大数据第8周 1.Wordcount程序的运行 1.1准备数据 上传到hdfs一个英文的文本文件，尽量不要在根目录下。文件内容也不要太多，可以自己数清楚有几个词，方便检查是否正确。 1.2写入运行参数 当前界面显示出要运行的程序，然后点击主菜单的“run”。 并选择“Run Configuratio 阅读全文

摘要： 大数据第七周 1 Eclipse环境下java语言mapreduce程序开发环境配置 1.1 拷贝eclipse软件 先拷贝到根目录下，然后解压 tar -zxvf eclipse-java-2020-03-R-linux-gtk-x86_64.tar.gz 打开eclipse：进入eclipse 阅读全文

摘要： 大数据第七周1 Eclipse环境下java语言mapreduce程序开发环境配置1.1 拷贝eclipse软件先拷贝到根目录下，然后解压tar -zxvf eclipse-java-2020-03-R-... 阅读全文

摘要： 大数据第6周1.启动集群并验证启动集群：start-all.sh启动后先用jps验证线程数是否正确，按照我的配置，master节点线程：​连个slave节点：​为了验证集群mapreduce工作是否正常，... 阅读全文

摘要： 大数据第6周 1.启动集群并验证 启动集群：start-all.sh 启动后先用jps验证线程数是否正确，按照我的配置，master节点线程： ​ 连个slave节点： ​ 为了验证集群mapreduce工作是否正常，可以运行例子程序，例如： 进入相应目录hadoop-2.7/share/hadoo 阅读全文

摘要： 大数据第5周 1.Hadoop系统配置 1.1 环境配置 需要配置两个文件：hadoop-env.sh和yarn-env.sh，配置JAVA_HOME变量。 vi hadoop-env.sh，修改成了如下... 阅读全文

摘要： 大数据第5周 1.Hadoop系统配置 1.1 环境配置 需要配置两个文件：hadoop-env.sh和yarn-env.sh，配置JAVA_HOME变量。 vi hadoop-env.sh，修改成了如下内容： vi yarn-env.sh，增加了一句：export JAVA_HOME=/home/ 阅读全文

摘要： 大数据第4周 0.检查联网 每次打开虚拟机都无法联网，都忘了打开服务这一步 ​ 1.用户名相同 要求三个虚拟机的用户名相同，否者相互访问时需要使用用户名，这样集群会有问题。 如要新增用户，先转换为root用户su root，然后执行以下操作： 添加新用户：useradd 用户名 设置用户密码：pas 阅读全文

摘要： 大数据第4周 0.检查联网每次打开虚拟机都无法联网，都忘了打开服务这一步​ 1.用户名相同要求三个虚拟机的用户名相同，否者相互访问时需要使用用户名，这样集群会有问题。如要新增用户，先转换为root用户su... 阅读全文

摘要： 本文转载自：https://blog.csdn.net/weixin_43288322/article/details/84640995最近开始用wireshark抓包玩，觉得用个虚拟机比较方便，反正要重... 阅读全文