07 2015 档案

Hadoop HA on Yarn——集群启动
摘要：这里分两部分，第一部分是NameNode HA，第二部分是ResourceManager HA（ResourceManager HA是hadoop-2.4.1之后加上的）NameNode HA1.启动ZookeeperzkServer.sh start可以用zkServer.sh status查看状... 阅读全文
posted @ 2015-07-20 10:30 Captain_Lucky 阅读(4720) 评论(0) 推荐(0)
Hadoop HA on Yarn——集群配置
摘要：集群搭建因为服务器数量有限，这里服务器开启的进程有点多：机器名 安装软件 运行进程 hadoop001 Hadoop,Zookeeper NameNode,DFSZKFailoverController,ResourceManagerDataNode, NodeManagerQuorum... 阅读全文
posted @ 2015-07-20 10:26 Captain_Lucky 阅读(10808) 评论(0) 推荐(0)
IDEA 使用技巧 Update
摘要：IDEA使用起来和Eclipse很大区别。1.快捷键。因为一个个熟悉起来费时间，就直接在Preferences—keymap里选择了Eclipse OS X，这样快捷键就转换到了Mac下Eclipse的快捷键。顿时用起来就舒爽多了。2.编译与运行程序IntelliJ默认是不会自动编译项目的，所以在r... 阅读全文
posted @ 2015-07-10 14:59 Captain_Lucky 阅读(1713) 评论(0) 推荐(0)
Scala学习——Scala By Example——to be continued
摘要：这一篇是来自官网的Scala By Example即Tutorial后更详细地对Scala怎么用给了示例该文一开始给了一个快速排序的示例版本一： def sort(xs: Array[Int]) { def swap(i: Int, j: Int) { val t = xs(i);... 阅读全文
posted @ 2015-07-10 13:57 Captain_Lucky 阅读(584) 评论(0) 推荐(0)
利用Intellij IDEA开发Spark程序
摘要：网上例子大多是基于scala的，并且配置基于sbt、scala的eclipse环境超级麻烦，所以下载IDEA。准备：jdk，IDEA安装（可以不用事先安装sbt和Scala，这在IDEA里都可以plugin）安装Scala,SBT插件在IDEA的Preference—Plugins—Browse R... 阅读全文
posted @ 2015-07-09 15:19 Captain_Lucky 阅读(2833) 评论(0) 推荐(0)
Scala学习——Brief Scala Tutorial
摘要：因为Spark项目需要，学习Scala编程。从官网文档入手：http://www.scala-lang.org/documentation/首先从他的Older Documentation入手。第一篇是Brief Scala Tutorial只有20页，对于有Java基础的人来说上手很快其中有几点值... 阅读全文
posted @ 2015-07-08 14:06 Captain_Lucky 阅读(349) 评论(0) 推荐(0)
Mac下安装sbt
摘要：为了可以用Eclipse编译基于Scala的Spark Project，需要安装sbt环境：OS X Yosemite 10.10.31.安装Xcode因为要在终端用macports安装sbt，而Xcode是macports安装的前提，所以要先去APPstore下载Xcode，并安装其command... 阅读全文
posted @ 2015-07-08 11:10 Captain_Lucky 阅读(5813) 评论(0) 推荐(0)
[转] linux下 /etc/profile、~/.bash_profile ~/.profile的执行过程
摘要：分类： linux 2015-03-13 16:24 1572人阅读 评论(0) 收藏 举报linuxprofile关于登录linux时，/etc/profile、~/.bash_profile等几个文件的执行过程。在登录Linux时要执行文件的过程如下：在刚登录Linux时，首先启动 /etc/p... 阅读全文
posted @ 2015-07-07 13:57 Captain_Lucky 阅读(213) 评论(0) 推荐(0)