xingoo

摘要： oozie支持使用EL（expression language）表达式。 基本的EL常量 KB MB GB TB PB 基本EL函数 string firstNotNull(String value1,String value2) 返回第一个不为空的值，如果都为null，则返回null string 阅读全文

摘要： failover? NAT IP tunneling DSR vrrp gossip 什么是2PC? 什么是3PC? 什么是Pasox？ sna? dal? mpi? 阅读全文

摘要： Oozie支持Java Action，因此可以自定义很多的功能。本篇就从理论和实践两方面介绍下Java Action的妙用，另外还涉及到oozie中action之间的参数传递。 本文大致分为以下几个部分： Java Action教程文档 自定义Java Action实践 从源码的角度讲解Java A 阅读全文

摘要： 前篇讲述了下什么是流控制节点，本篇继续来说一下什么是 Action Nodes操作节点。Action节点有一些比较通用的特性： Action节点是远程的 所有oozie创建的计算和处理任务都是异步的，没有任何应用是工作在oozie内部的。基本上都是创建一个oozie任务，oozie任务会以map的形 阅读全文

摘要： 最近又开始捅咕上oozie了，所以回头还是翻译一下oozie的文档。文档里面最重要就属这一章了——工作流定义。 一提到工作流，首先想到的应该是工作流都支持哪些工作依赖关系，比如串式的执行，或者一对多，或者多对一，或者条件判断等等。Oozie在这方面支持的很好，它把节点分为控制节点和操作节点两种类型， 阅读全文

摘要： 利用大数据来做BI分析的时候，必不可少需要设置一些调度任务。 本篇就讲述一下如何利用hue来编辑shell操作，这里面的很多操作在其他的调度操作里面也是可以借鉴的。 如果是linux里面可以直接执行的脚本，那么可以直接在hue里面使用，比如： 如果有参数，可以点击 添加 如果你使用了${value} 阅读全文

摘要： Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用spark ui做性能调整和优化。 那么本篇就介绍下如何利用Ui做性能分析，因为本人的经验也 阅读全文

摘要： http://jetbrains.tech 阅读全文

摘要： 在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User Defined Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User Defined Aggregation Funcation），用户自定义聚合函数，类似在g 阅读全文

摘要： 有了前面spark shell的经验，看这两个脚本就容易多啦。前面总结的Spark shell的分析可以参考： "Spark源码分析之Spark Shell（上）" "Spark源码分析之Spark Shell（下）" Spark submit if [ z "${SPARK_HOME}" ]; t 阅读全文