百里登风

摘要： 我们在用ubuntu系统搭建集群的时候，配置免密码登录是必须经过的一步 我这里集群的每个节点都是采用的是root用户，因为ubuntu系统不同centos，ubuntu真的限制太多太不友好了 下面看看我遇到的问题 就是在我们把子节点的公钥都发送到主节点的时候，提示我们输入密码，但是怎么输入密码都不行 阅读全文

摘要： 我这次是在真实机器上面安装的ubuntu16.04 在配置了静态ip后不懂什么原因默认的eno1网卡变回了eth0网卡之后就不能上网， 同一个网段的其他集群节点也不能ping 通 因为ubuntu16.04的默认网卡不再是eth0了。今天突然变回来了 我本来以为就是变配置文件 root@nssa-s 阅读全文

摘要： nssa-sensor1@nssa-sensor1:~$ vim /etc/network/interfaces以下是编辑文件的内容# interfaces(5) file used by ifup(8) and ifdown(8)auto loiface lo inet loopbackauto eno1iface eno1 inet staticaddress 192.168.1.101br... 阅读全文

摘要： nssa-sensor1@nssa-sensor1:~$ vim /etc/network/interfaces以下是编辑文件的内容# interfaces(5) file used by ifup(8) and ifdown(8)auto loiface lo inet loopbackauto eno1iface eno1 inet staticaddress 192.168.1.101br... 阅读全文

摘要： 下载地址 https://tomcat.apache.org/download-70.cgi 打开我们的idea 这些的话都可以按照自己的需求来修改 在这里新建包 新建一个java类 再新建一个类 我们把tomcat包加载进来 把这些包拷贝到工程目录下 还需要把这些包引进来 写入代码 下载地址 ht 阅读全文

摘要： 先启动spark-shell,记得启动nc服务 输入以下代码 在nc输入几个单词 我们再输入一些单词 我们改一下代码换成update模式 首先重新启动一次spark-shell,记得启动nc 换成append模式 因为我们之前的kafka的版本低了，我下载一个0.10.0版本的 下载地址 http: 阅读全文

摘要： 重新启用一个远程连接窗口 回到这边输入一些信息 看到这边就有数据接收到了 我们退出，换个方式启动 我们在这边再输入一些数据 这边处理得非常快 因为打印的日志信息太多了，我修改一下配置文件(3个节点都修改吧，保守一点了) 我们在来跑一下 再回到这边我们敲几个字母进去 把同样的单词多次输入我们看看是什么 阅读全文

摘要： 拷贝hive-site.xml到spark的conf目录下面 打开spark的conf目录下的hive-site.xml文件 加上这段配置（我这里三个节点的spark都这样配置） 把hive中的mysql连接包放到spark中去 检查spark-env.sh的hadoop配置项 检查dfs是否启动了 阅读全文

摘要： 跑一下这个结果 参考代码 运行结果 改一下这里 下面是运行结果 打开这个地址 我们来产生一个job 从监控页面我们可以看到 随便敲一些单词用作测试 因为我目前的节点2的hdfs是active状态 可以看到报错了，文件目录已经存在了，我们必须要是一个不存在的路径才可以 可以看到成功了 我们查看一下hd 阅读全文

摘要： rn 启动 先把这三个文件的名字改一下 配置slaves 配置spark-env.sh 将spark 配置分发到其他节点并修改每个节点特殊配置 scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/ scp -r spark-2.2.0- 阅读全文