摘要：在定时调度任务当中，当一个任务执行完成之后，设置一个邮件提示： 问题描述：我在azkaban的web的properties文件当中配置了相关的配置项，但是一直报下 面错误： ERROR [Emailer] [Azkaban] Email message send failedjavax.mail.A 阅读全文

摘要：trait: 字面意思是特质或者特征，这个词翻译成特征比较合适。它的意义和java，c#中接口很类似。但是trait支持部分实现，也就是说可以在scala的trait中可以实现部分方法。 在scala中也是一般只能继承一个父类，可以使用with进行多重继承； class： Scala类和java类中 阅读全文

摘要：问题描述：通过oozie 提交任务，一直报权限连接异常。 我配置了两台oozie server做分布式的oozie文件提交。但是当我提交任务的时候。当一台server 挂掉时出现了下面的错误。 Exception while executing check(). Error Code [JA002] 阅读全文

摘要：问题描述： 之前我们使用root用户登录mysql。一直是好的。后来登录的时候一直报权限问题： 看到这个的时候第一反应应该是权限有问题，要修改用户的密码； （1）第一步是跳过密码的认证过程；首先进入 #vim /etc/my.cnf(注：windows下修改的是my.ini) 在[mysqld]后面 阅读全文

摘要：Azkaban： Azkaban的工作流的创建特别方便，直接通过web界面创建工程，然后提交任务。（创建job的的文件必须是以.job的文件，并且上传的文件是以zip压缩包的形式进行上传）。 创建工作流的基本流程： （1）创建工程，提交任务。 （2）任务提交完成之后bar.job和foo.job之间 阅读全文

摘要：区配置： 1.查看时区 2 .修改时区 3 安装mysql 下载MySQL数据脚本（如下有安装MySQL服务可以忽略） 下载然后解压；tar -zxvf azkaban-sql-script-2.5.0.tar.gz 创建用户、分配权限并执行脚本 mysql –u root –pxxxx 创建数据库 阅读全文

摘要：1．工作流调度工具：（azkaban 和oozie的对比） 调度工具性能对比：Apache Oozie，其配置工作流的过程是编写大量的XML配置，而且代码复杂度比较高，不易于二次开发。ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失， 阅读全文

摘要：问题： 在将Linux上面的文件传输到Windows上面的时候。出现Auth fail; 解决方法：这个时候需要看你的主机名和端口号是否是正确的。错误如下： 问题2：出现连接拒绝的状态。refuse connection。 我是从Linux到windows上传文件的因为我们使用的jcraft这个包。 阅读全文

摘要：在ｏｏｚｉｅ上面提交作业报错的解决办法： （１） 在ｏｏｚｉｅ上将写好的好ｓｑｏｏｐ脚本添加上来的时候，这个时候报错。说一直没有权限： 解决方法： （１） 首先想到的时去修改这个文件的权限。然后修改之后还是不行。然后尝试各种各样的问题（ｈｕｅ采用的是４.１.０，ｏｏｚｉｅ采用的是４.２.０，ｓｑｏｏ 阅读全文

摘要：采集数据到kafka，然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。 （1）一直是提醒说必须指定topic，然后发现我kafka用的是0.9.0.1，然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。 （2）flume能够正常启动。然而这 阅读全文