随笔分类 -  Linux

使用fabric解决百度BMR的spark集群各节点的部署问题
摘要：在自动部署服务器方面，如果使用fabric和socket.gethostbyname()解决百度BMR的spark集群各节点的部署问题。 阅读全文
posted @ 2017-10-31 19:42 kwongtai 阅读(739) 评论(0) 推荐(0)
解决百度BMR的spark集群开启slaves结点的问题
摘要：前言 最近一直忙于和小伙伴倒腾着关于人工智能的比赛，一直都没有时间停下来更新更新我的博客。不过在这一个过程中，遇到了一些问题，我还是记录了下来，等到现在比较空闲了，于是一一整理出来写成博客。希望对于大家有帮助，如果在此有不对的地方，请大家指正，谢谢！ 比赛遇到spark开启的问题 疑惑之处 在使用百 阅读全文
posted @ 2017-08-13 16:58 kwongtai 阅读(1029) 评论(1) 推荐(0)
spark-2.2.0安装和部署——Spark集群学习日记
摘要：前言 在安装后hadoop之后，接下来需要安装的就是Spark。 scala 2.11.7下载与安装 具体步骤参见 "上一篇博文" Spark下载 为了方便，我直接是进入到了/usr/local文件夹下面进行下载 Spark安装之前的准备 文件的解压与改名 为了我后面方便配置 ，在这里我把文件夹的名 阅读全文
posted @ 2017-07-24 16:55 kwongtai 阅读(17019) 评论(1) 推荐(0)
安装Scala-2.11.7——集群学习日记
摘要：前言 在安装 之前，我们需要安装 语言的支持。在此我选择的是 版本。 下载 为了方便，我现在我的 主机上先安装，把目录打开到 目录下，与我的 目录相一致。 下载之后解压 解压之后删除源文件 配置环境 在此需要打开 文件进行配置 在文件的最后插入 插入了之后要使得命令生效，需要的是： 检测是否安装成功 阅读全文
posted @ 2017-07-23 22:21 kwongtai 阅读(3346) 评论(0) 推荐(0)
Hadoop-2.7.2集群的搭建——集群学习日记
摘要：前言 因为比赛的限制是使用Hadoop2.7.2，估在此文章下面的也是使用Hadoop2.7.2,具体下载地址为 "Hadoop2.7.2" 开始的准备 目前在我的实验室上有三台Linux主机，因为需要参加一个关于spark数据分析的比赛，所以眼见那几台服务器没有人用，我们团队就拿来配置成集群。具体 阅读全文
posted @ 2017-07-23 20:34 kwongtai 阅读(2767) 评论(4) 推荐(2)
配置ssh免密码登录——集群学习日记
摘要：度过了难熬的考试月时期之后，最近和小伙伴一起参加的的比赛进入了紧张的准备时期。在进行工作的时候，发现有很多基础的知识点，自己不是很清楚以及了解，所以在想，要不就边学习的时候边写下学习日记，以供自己后来不懂的时候查看，同时以希望自己的一些所得能帮助到其他人。共勉之~ 阅读全文
posted @ 2017-07-23 13:55 kwongtai 阅读(2027) 评论(0) 推荐(0)
利用ssh反向代理以及autossh实现从外网连接内网服务器
摘要：前言 最近遇到这样一个问题，我在实验室架设了一台服务器，给师弟或者小伙伴练习Linux用，然后平时在实验室这边直接连接是没有问题的，都是内网嘛。但是回到宿舍问题出来了，使用校园网的童鞋还是能连接上，使用外网的小土豪就没有办法进入内网。这时能不能有一个办法可以使得通过外网连接到内网的服务器呢？答案是有 阅读全文
posted @ 2017-05-25 14:02 kwongtai 阅读(73022) 评论(12) 推荐(3)