我的空中楼阁

摘要：需要编辑的文件是config/elasticsearch.yml文件 需要配置的项目有： # Use a descriptive name for your cluster: # cluster.name: Hadoop # # ------------------------------------ Node ------------------------------------ ... 阅读全文

摘要：函数式编程 函数式编程，结构化编程，OO编程都是编程的方法论。 函数式编程主要思想是把运算过程尽量写成一系列嵌套的函数调用。 特点如下： 1。函数可以像其他数据类型一样使用 可以可以赋值给其他变量，可以作为参数传入另一个函数或者作为别的函数的返回值 2。只用表达式，不用语句 表达式是 个单纯的运算过程，总是有返回值。语句是执行某种操作，没有返回值。 3。不修改状态 ... 阅读全文

摘要：val msg="Hello,World" Scala 可以根据赋值的内容推算出变量的类型。这在Scala语言中成为“type inference”。 Scala访问数组的语法是使用()而非[]。 Scala不支持++i和i++运算符，因此需要使用i += 1 来加一 当你在某个值后面使用()时，Scala将其翻译成对应对象的apply方法 REPL scala 交互式编译的工具 ... 阅读全文

摘要：spark的安装简单，去官网下载与集群hadoop版本相一致的文件即可。 解压后，主要需要修改spark-evn.sh文件。 以spark standlone为例，配置dn1,nn2为master,使用zookeeper的方式进行HA。 配置如下： export JAVA_HOME=/app/jdk17079 export SCALA_HOME=/app/scala2105 expo... 阅读全文

摘要：首先需要安装EPEL的源。 yum install -y ganglia.x86_64 ganglia-gmetad.x86_64 ganglia-web.x86_64 ganglia-gmond.x86_64 yum install -y ganglia.x86_64 ganglia-gmond.x86_64 修改/etc/httpd/conf.d/ganglia.conf ... 阅读全文

摘要：Hadoop提供的对其HDFS上的数据的处理方式，有以下几种， 1 批处理，mapreduce 2 实时处理：apache storm, spark streaming , ibm streams 3 交互式: 如pig , spark shell 都可以提供交互式地数据处理 4 sql: hive , impala 提供接口，可以使用sql标准语言进行数据查询分析 5 迭代处理：尤其是... 阅读全文

摘要：Linux: 鸟哥的linux私房菜第一篇： Command -简写 --全称 shutdown -f (ignore fsck) -F(force fsck) -r (restart) reboot == shutdown -r now Halt Poweroff Man Info 用于查看命令相关的详细信息 /string向下查找相关的字符 ?string 向上查找相关的字... 阅读全文

摘要：运行级别就是操作系统当前正在运行的功能级别。级别是从0到6，具有不同的功能。这些级别定义在/ect/inittab文件中。这个文件是init 程序寻找的主要文件，最先运行的服务是那些放在/etc/rc.d目录下的文件。 Linux下有7个运行级别： 0 系统停机模式，系统默认运行级别不能设置为0，否则不能正常启动，机器关闭。 1 单用户模式，root权限，用于系统... 阅读全文