02 2016 档案

elasticsearch 集群搭建
摘要:需要编辑的文件是config/elasticsearch.yml文件 需要配置的项目有: # Use a descriptive name for your cluster: # cluster.name: Hadoop # # ------------------------------------ Node ------------------------------------ ... 阅读全文

posted @ 2016-02-29 22:57 tneduts 阅读(602) 评论(1) 推荐(0)

Scala编程第二课
摘要:函数式编程 函数式编程,结构化编程,OO编程都是编程的方法论。 函数式编程主要思想是把运算过程尽量写成一系列嵌套的函数调用。 特点如下: 1。函数可以像其他数据类型一样使用 可以可以赋值给其他变量,可以作为参数传入另一个函数或者作为别的函数的返回值 2。只用表达式,不用语句 表达式是 个单纯的运算过程,总是有返回值。语句是执行某种操作,没有返回值。 3。不修改状态 ... 阅读全文

posted @ 2016-02-29 15:58 tneduts 阅读(265) 评论(0) 推荐(0)

scala 第一课
摘要:val msg="Hello,World" Scala 可以根据赋值的内容推算出变量的类型。这在Scala语言中成为“type inference”。 Scala访问数组的语法是使用()而非[]。 Scala不支持++i和i++运算符,因此需要使用i += 1 来加一 当你在某个值后面使用()时,Scala将其翻译成对应对象的apply方法 REPL scala 交互式编译的工具 ... 阅读全文

posted @ 2016-02-28 11:20 tneduts 阅读(169) 评论(0) 推荐(0)

Spark standlone安装与配置
摘要:spark的安装简单,去官网下载与集群hadoop版本相一致的文件即可。 解压后,主要需要修改spark-evn.sh文件。 以spark standlone为例,配置dn1,nn2为master,使用zookeeper的方式进行HA。 配置如下: export JAVA_HOME=/app/jdk17079 export SCALA_HOME=/app/scala2105 expo... 阅读全文

posted @ 2016-02-23 16:05 tneduts 阅读(366) 评论(1) 推荐(0)

ganglia安装简记
摘要:首先需要安装EPEL的源。 yum install -y ganglia.x86_64 ganglia-gmetad.x86_64 ganglia-web.x86_64 ganglia-gmond.x86_64 yum install -y ganglia.x86_64 ganglia-gmond.x86_64 修改/etc/httpd/conf.d/ganglia.conf ... 阅读全文

posted @ 2016-02-23 07:50 tneduts 阅读(242) 评论(0) 推荐(0)

HADOOP HDFS的设计
摘要:Hadoop提供的对其HDFS上的数据的处理方式,有以下几种, 1 批处理,mapreduce 2 实时处理:apache storm, spark streaming , ibm streams 3 交互式: 如pig , spark shell 都可以提供交互式地数据处理 4 sql: hive , impala 提供接口,可以使用sql标准语言进行数据查询分析 5 迭代处理:尤其是... 阅读全文

posted @ 2016-02-22 17:32 tneduts 阅读(309) 评论(0) 推荐(0)

2016-02-16
摘要:Linux: 鸟哥的linux私房菜第一篇: Command -简写 --全称 shutdown -f (ignore fsck) -F(force fsck) -r (restart) reboot == shutdown -r now Halt Poweroff Man Info 用于查看命令相关的详细信息 /string向下查找相关的字符 ?string 向上查找相关的字... 阅读全文

posted @ 2016-02-16 08:29 tneduts 阅读(138) 评论(0) 推荐(0)

linux运行级别[转自网络]
摘要:运行级别就是操作系统当前正在运行的功能级别。级别是从0到6,具有不同的功能。这些级别定义在/ect/inittab文件中。这个文件是init 程序寻找的主要文件,最先运行的服务是那些放在/etc/rc.d目录下的文件。 Linux下有7个运行级别: 0 系统停机模式,系统默认运行级别不能设置为0,否则不能正常启动,机器关闭。 1 单用户模式,root权限,用于系统... 阅读全文

posted @ 2016-02-09 10:17 tneduts 阅读(274) 评论(0) 推荐(0)

导航