2020年6月16日
访问namenode节点机9000端口失败
摘要： 起初是验证 On-Yarn模式提交Spark任务时发现连接 namenode:9000 失败，进一步，在namenode节点机执行 start-dfs.sh后，直接telnet namenode 9000 返回连接拒绝，再次排查问题，发现NameNode进程启动后立刻挂了，然后就有如下的解决操作： 阅读全文
posted @ 2020-06-16 11:17 且将新火 阅读(897) 评论(0) 推荐(0)
八、Linux 上搭建 Hadoop 集群
摘要： 参考：https://www.cnblogs.com/yanshw/p/11535633.htmlhttps://www.cnblogs.com/frankdeng/p/9047698.html 集群时间同步参考：https://www.cnblogs.com/frankdeng/p/9005691 阅读全文
posted @ 2020-06-16 10:23 且将新火 阅读(206) 评论(0) 推荐(0)
2020年6月10日
九、Linux 上搭建 Spark 集群
摘要： 参考： https://www.cnblogs.com/codingexperience/p/5333202.html 解压、配置环境变量、使生效 export SPARK_HOME=/home/hadoop/spark-2.4.5-bin-hadoop2.7 export PATH=$PATH:$ 阅读全文
posted @ 2020-06-10 14:57 且将新火 阅读(181) 评论(0) 推荐(0)
七、Linux 上搭建 Kafka 集群
摘要： 参考： https://www.cnblogs.com/yangk1996/p/12663569.html https://www.jianshu.com/p/1f9e18e926f6 【注意】 与zookeeper版本对应 kafka zookeeper springboot 2.12-2.3.1 阅读全文
posted @ 2020-06-10 14:51 且将新火 阅读(133) 评论(0) 推荐(0)
六、Linux 上搭建 Storm 集群
摘要： 参考： https://www.cnblogs.com/followees/p/8998551.html 官方文档： http://storm.apache.org/releases/1.2.3/javadocs/org/apache/storm/Config.html#NIMBUS_SEEDS t 阅读全文
posted @ 2020-06-10 14:50 且将新火 阅读(230) 评论(0) 推荐(0)
五、Linux 上安装 zookeeper
摘要： 参考： cnblogs.com/expiator/p/9853378.html https://www.cnblogs.com/daleyzou/p/8558140.html 安装： tar -zxvf uploadfile/zookeeper-3.4.10.tar.gz cd zookeeper- 阅读全文
posted @ 2020-06-10 14:48 且将新火 阅读(123) 评论(0) 推荐(0)
win10 修改 hosts 文件
摘要： 目录： C:\WINDOWS\system32\drivers\etc 问题： Win10系统修改hosts文件不能保存的解决方法 参考： http://www.lotpc.com/dngz/8293.html 阅读全文
posted @ 2020-06-10 14:43 且将新火 阅读(393) 评论(0) 推荐(0)
二、解决SecureCRT连接Linux很慢、卡的问题
摘要： 在第一步完成了虚拟机集群的搭建后，我们后续的工作通过SecureCRT工具来实现更为方便。 但是在连接的过程中发现要经过很长时间才能连接成功，这里记录下解决方法。 原因：SSH配置问题 vi /etc/ssh/sshd_config 修改 UseDNS no 重启sshd服务 service ssh 阅读全文
posted @ 2020-06-10 14:41 且将新火 阅读(1600) 评论(0) 推荐(0)
四、Linux 设置 SSH 免密登录
摘要： 说明： ssh-copy-id user@server 或 ssh-copy-id -i /.ssh/id_rsa.pub user@server ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上， ssh-copy-id命令也会给远程主机的用户主目 阅读全文
posted @ 2020-06-10 14:34 且将新火 阅读(136) 评论(0) 推荐(0)
三、Linux 上安装 Java 和 Scala
摘要： 一、安装Java 参考： https://www.cnblogs.com/sxdcgaq8080/p/7492426.html 1、解压 tar -zxvf jdk-8u131-linux-x64.tar.gz 2、配置环境变量 vi /etc/profile 追加 export JAVA_HOME 阅读全文
posted @ 2020-06-10 14:23 且将新火 阅读(193) 评论(0) 推荐(0)
下一页