摘要：jar包方式部署： 1、创建一个java工程，命名为weekend110 2、需要在java Build Path添加Libraries命名为hdfs 在hdfs里面 添加jar包： 接着添加lib所有jar包： 再添加common的核心包： 最后再重新添加lib包，重复可以覆盖！ 完成ok！ 第二 阅读全文

摘要：首先，在自己的虚拟机创建了两台机器，分别是：weekend110和spark01。 由于自己刚开始配置有点问题， 把两台的 .ssh里面文件都删了 重新配置 所以需要删除./ssh文件夹里面的所有文件，并不删除文件夹 两台机器分别 ssh-keygen -t rsa 然后进去.ssh目录（cd /r 阅读全文

摘要：hdfs测试： 使用jps命令是可以检查进程有没有启动： 上图表示启动成功，在我们访问他们的主机ip：500700之前需要关闭防火墙：Systenctl stop firewalld 这时根目录没有文件，所以我们需要上传文件，他的指令是： 刷新后就有文件： 点击也是可以下载在本地上。 当然也可以删除 阅读全文

摘要：首先先把VMware Workstation Pro软件的虚拟机的软件装好，自己的镜像用的是1810iso， 在创建虚拟机，设置的是无图形界面一直下一步就可以，不要修改他们的参数，在正在配置只需要设置第一个配置参数即可，如：用户名、密码 当加载完毕后就可以直接启动并登陆无图形界面： 这时，使用ip 阅读全文

摘要：首先，自己在搭建遇到的问题是50070的端口号，无法访问，排查了一下才知道配置参数细节上的问题。首先从主机上着手，排查得知：主机里面没有name node，了解知道core-site.xml的配置有问题： 错误配置误点： 另外需要配置：secondnamenode 我们只需要在hdfs-site.x 阅读全文