2017 年 8月随笔档案 - 加菲盐

开源Datax、Sqoop、Kettle等ETL工具作业自动化实现-分享

摘要：1、阿里开源软件：DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。（摘自百科） 2、Apache开源软件：Sqoop Sqoop(发音:skup 阅读全文

posted @ 2017-08-17 10:05 加菲盐阅读(6890) 评论(0) 推荐(3)

ETL作业调度工具TASKCTL的两个重大突破

摘要：在传统设计理念下，流程图的可视化、作业流的定义设计功能，随着作业量增加，越来越难用，越来越不适用是一个难以避免的问题。就这两个问题，我给大家分享一下TASKCTL是如何转变思路、如何突破、如何带来一些更理想的效果。同时，我也希望通过此次分享，带来一些抛砖引玉的效果，希望业界更多同仁，就批量调度技术更阅读全文

posted @ 2017-08-14 11:11 加菲盐阅读(8915) 评论(3) 推荐(5)

【转载】必看:数据平台的搭建教程及软件工具

摘要：按系统功能分，不同的数据平台对应着不同的常用软件。在大数据兴盛的今天，欲进军数据界的你，应该对此有更进一步的了解。 1.数据挖掘模块作为一个跨学科的计算机科学分支，数据挖掘是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程，属于非传统的数据处理。相对于传统ET 阅读全文

posted @ 2017-08-11 13:33 加菲盐阅读(1222) 评论(0) 推荐(0)

TASKCTL产品功能清单-转载

摘要：功能分类功能描述一级二级关系调度控制作业依赖关系调度作业依赖关系调度是调度最基本的功能，指作业间具有顺序的运行，比如：a、b、c三个作业，只有当a完成后才运行b，b完成才能运行c 作业并行调度与依赖关系对应，同样是调度的基本功能，指作业间运行不存在关系，可同时运行。作业间互斥调度阅读全文

posted @ 2017-08-10 10:07 加菲盐阅读(351) 评论(0) 推荐(0)

ETL作业调度软件TASKCTL自定义扩展作业类型插件安装

摘要：TASKCTL批量自动化调度作业类型扩展插件的安装方法如下几种： 1、直接覆盖法直接覆盖法的意思就是将自定义扩展好的插件，通常是一个shell脚本，上传至后台调度核心服务上，然后修改后台任务类型的XML元素配置文件即可。注意：修改任务类型XML元素表后，需要重新启调度核心服务后，新扩展的作业类阅读全文

posted @ 2017-08-07 15:29 加菲盐阅读(275) 评论(0) 推荐(0)

ETL作业调度工具TASKCTL工具快捷键汇总

摘要：TASKCTL作业自动化调度开发工具提供很多快捷键，熟悉快捷键可以帮助开发事半功倍，节省更多的时间来用于做有意义的事情。 F6：编译作业（流） F8：资源管理器 F9：属性 F10：工具箱 F11：模块视图 F12：模块代码 Ctrl+W：代码错误列表 Ctrl+R：查询结果列表 Ctrl+O：编译阅读全文

posted @ 2017-08-07 15:27 加菲盐阅读(354) 评论(0) 推荐(0)

TASKCTL敏捷调度理念的诠释

摘要：功能完整是基本，简单易用才是王道，这就是TASKCTL对敏捷的朴素定义。功能少，怎么复杂也会简单；而功能体系完整，怎么简单也会复杂。因此，简单与复杂是相对的，而TASKCTL正是追求那种在功能完整不可避免复杂中的简单。实际上，对很多软件、APP是否简单易用，是很难评定的。一方面，因人而已；另一方面阅读全文

posted @ 2017-08-07 09:54 加菲盐阅读(208) 评论(0) 推荐(0)

ETL作业调度软件TASKCTL4.5不同版本下载--链接分享

摘要：Windows客户端（不含.net，针对已有.net的用户）: http://pan.baidu.com/s/1b4imrO Linux32位服务端（包含服务、代理、字符界面客户端）: http://pan.baidu.com/s/1qXBhASs Linux64位服务端（包含服务、代理、字符界面客阅读全文

posted @ 2017-08-02 11:11 加菲盐阅读(196) 评论(0) 推荐(0)

ETL作业自动化调度软件TASKCTL4.5安装程序是选项解释

摘要：下文仅针对TASKCTL4.5有效，在执行安装程序后，会看到安装程序有4个选项，其中，1和2是需要了解的。 1，典型安装：这个选项是单机部署，在第一次使用TASKCTL的时候，我用的是这种安装方式，安装起来非常省心。后来了解到它会自动的把一个Server节点和字符界面客户端安装好，这样我们就能够阅读全文

posted @ 2017-08-02 11:10 加菲盐阅读(167) 评论(0) 推荐(0)

ETL作业调度工具TASKCTL软件安装乱码问题解决

摘要：前两天在安装批量作业调度软件TASKCTL4.5时，将安装介质解压出来后执行安装脚本时，一安装就出现下图乱码。然后就度娘了一下，发现安装遇到乱码的人还挺多的，大多数解答都说TASKCTL软件里面很多注解都是中文，所以需要中文字符集才能现实正常。安装乱码可能是远端连接linux系统的工具字符集设置问阅读全文

posted @ 2017-08-01 14:15 加菲盐阅读(374) 评论(0) 推荐(0)