爱知菜的技术博客

摘要： 假设你的7z 安装目录是C:\Program Files\7-Zip\, 可以使用如下的命令行压缩文件, 其中a表示add, source.csv是被压缩的文件, -p123表示密码是123, -tzip表示压缩格式是zip "C:\Program Files\7-Zip\7z.exe" a sou 阅读全文

摘要： 关键点: 清理Kettle缓存: rm -rf /home/user/data-integration/./system/karaf/caches rm -rf /home/user/data-integration/./system/karaf/data karaf 是Kettle用于实现插件的一 阅读全文

摘要： 转自: https://blogs.msdn.microsoft.com/pliu/2016/06/19/backup-cloudera-data-to-azure-storage/ Azure Blob Storage supports an HDFS interface which can be 阅读全文

摘要： locate */hive/lib/hive*jar 转自: https://blog.csdn.net/sinat_27339001/article/details/78438947 locate */hive/lib/hive*jar | grep hive-exec 阅读全文

摘要： 用于ETL流程中, 有不支持命令行, 只能GUI交互的程序要实现自动化调用 可以参考下面这段VB. 启动了程序, 还在5秒后自动按了一下回车键. Dim Shell Set Shell=WScript.CreateObject("WScript.Shell") Shell.Run """C:\Pro 阅读全文

摘要： SSIS 有 script component 允许用户用C# 或者 VB来定义复杂逻辑 Pentaho Kettle 有 Javascript 允许用户用js来定义复杂逻辑 Javascript 最后必须返回一个布尔变量(如下面示例代码中的 true;), 表示成功或者失败 可用使用 parent 阅读全文

摘要： 首先要下载Oracle的 JDBC 驱动放到 Kettle的lib目录下 然后在Transform里具体连接Oracle的时候, 注意数据库名称填的是SID. 怎么获Oracle取数据库的SID? 可以运行下面的语句, 第一句获取数据库版本, 第二句就是SID --Get Version Info 阅读全文

摘要： kafka基本原理概述——patition与replication分配 - 新际航 - 博客园 Kafka专用术语： Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。Broker的leader叫Kafka Controller会负 阅读全文

摘要： 参考: https://www.cnblogs.com/ITtangtang/p/7677912.html https://blog.csdn.net/yu616568/article/details/51868447 https://hortonworks.com/blog/orcfile-in- 阅读全文

摘要： 总结来说MR是一个编程模型，你可以用MR这个编程模型自己实现MPP所做的事。 MPP则是一种SQL的计算引擎。 “MR分而治之的策略” 和 “Massively Parallel Processor类型的数据库” （即大规模并行处理数据库，典型代表 AWS Redshift 和 Teradata 以 阅读全文