摘要：
1、官网下载Hive组件，拷贝至虚拟机， 地址： https://pan.baidu.com/s/1_ijjPTJdKfsA3JbbqYNN3Q 5fwu tar -zxvf apache-hive-2.3.3-bin.tar.gz 解压命令 2、配置环境变量， vi .bash_profile e 阅读全文
posted @ 2018-04-12 01:15
Wind_LPH
阅读(715)
评论(0)
推荐(0)
摘要：
1、下载版本对应的spark和hadoop，如下： 2、配置Spark 解压Spark并配置环境变量， 新建环境变量如下： 在Path中增加如下环境变量： 3、配置hadoop相关变量， 4、下载hadoop组件，并进行配置(winutils ) 下载地址：https://github.com/sr 阅读全文
posted @ 2018-04-11 00:25
Wind_LPH
阅读(828)
评论(0)
推荐(0)
摘要：
Spark安装首先要先安装上Hadoop，然后才可以安装Spark。 Spark官网下载：http://spark.apache.org/downloads.html 需要注意的是：Spark对应的hadoop版本，然后上传至虚拟机 安装步骤： 1、加压文件，tar -zxvf spark-2.3. 阅读全文
posted @ 2018-04-08 23:16
Wind_LPH
阅读(289)
评论(0)
推荐(0)
摘要：
Hadoop安装有三种模式，单机模式、伪分布式和分布式安装 伪分布式安装 1、去hadoop官网下载 .tar.gz 文件，并拷贝到虚拟机中 增加hadoop环境变量， export HADOOP_HOME=/home/wdd/hadoop-2.9.0 export PATH=$PATH:$HADO 阅读全文
posted @ 2018-04-07 23:52
Wind_LPH
阅读(129)
评论(0)
推荐(0)
摘要：
安装jdk.bin和jdk.tar.gz打的办法 安装jdk.bin 安装好的VM Centos7的虚拟机， 1、查看是否是64位操作系统： cat /proc/cpuinfo | grep flags | grep lm | wc -l 如果结果>0 则是64位操作系统 2、JDK 中 jdk-6 阅读全文
posted @ 2018-04-07 20:29
Wind_LPH
阅读(199)
评论(0)
推荐(0)
摘要：
场景: 1、两台数据库 sql1和sql2 2、在sql1上创建存储过程，在sql2上设置定时任务执行存储过程 思路： 1、在sql1上创建job，执行存储过程；在sql2上创建job调用sql1上的job即可。 2、使用dblink去执行，参考：http://blog.csdn.net/kk185 阅读全文
posted @ 2018-02-06 16:12
Wind_LPH
阅读(1017)
评论(0)
推荐(0)
摘要：
曾几何时，年少的我们，仰望天地俯视众生，许下辉煌诺言，展望未来之美好。 无奈现在，芸芸的大家，柴米油盐娶妻生子，追上平淡无奇，穷尽一生之卧榻。 不知这是种悲凉还是一种生存。 我想大抵成功的人都会经历两种思想的冲突吧：1) 自己的梦：以梦为马，虽死无悔 2) 社会世俗：跟随世俗，虽生尤痛 不一样的我们 阅读全文
posted @ 2018-01-18 14:01
Wind_LPH
阅读(174)
评论(0)
推荐(0)
摘要：
今天先简单记录一下如何批量解压带有密码的rar文件，批量生成xml文件日后补充 转换设置如下： job设置如下： 设置变量如下： 获取rar文件设置如下： 这里，将所获取的rar文件增加行号了，输出到一张表中，这里应该在增加一个sql脚本（以后会逐步验证，为xml处理做准备） 表输出目前得到两个字段 阅读全文
posted @ 2017-12-13 23:55
Wind_LPH
阅读(2398)
评论(0)
推荐(0)
摘要：
diff aa.sh bb.sh -y -W 50 -y ： 以并列的方式显示文件的异同之处。 -W ： 在使用-y参数时，指定栏宽。 显示结果如下：其中 | 表示不相同，>表示缺少行 其他参数如下: -a或--text diff预设只会逐行比较文本文件。 -b或--ignore-space-cha 阅读全文
posted @ 2017-12-13 15:59
Wind_LPH
阅读(552)
评论(0)
推荐(0)
摘要：
主要参考博文，http://blog.csdn.net/wode_dream/article/details/38052639（十分感谢） 在下载m2eclipse的时候，遇到了点小错误，如下记录 在 help——》Install New Software 中输入http://m2eclipse.s 阅读全文
posted @ 2017-12-02 23:58
Wind_LPH
阅读(294)
评论(0)
推荐(0)
摘要：
简单对比一下这两个控件的功能和SQL脚本的功能差异，比较简单，相对有点难度的就是sql及过程调用 kettle两个sql脚本控件也是为了执行kettle，但是只限于等值sql，就是不能够出现像sql语句中的LIKE ‘%aa%'这种（经过多次测试，目前不支持） 解决办法，创建存储过程，通过执行脚本控 阅读全文
posted @ 2017-12-02 17:11
Wind_LPH
阅读(20220)
评论(0)
推荐(0)
摘要：
关于工具控件只简单记录一下以下几个控件。clone row，判断值是否为空，延迟，写日志和发邮件。 1、生成记录，看下面，字段testcol1和testcol2为string类型，值为空。 2、clone row设置如下，其中Nr clone in fidld? (在Nr clones下面)和Nr 阅读全文
posted @ 2017-12-02 13:32
Wind_LPH
阅读(782)
评论(0)
推荐(0)
摘要：
1、Blocking Setp ，作用是只有在该控件前面所有步骤执行完毕后才会执行该控件后面的步骤 2、Abort，设置一个失败阈值，当大于失败阈值的时候就会停止整个流程。 阅读全文
posted @ 2017-11-30 23:08
Wind_LPH
阅读(1726)
评论(0)
推荐(0)
摘要：
1、Data Grid输入 2、Switch/Case控件设置，根据不同的条件指向不同的步骤节点 3、Wirte to log 2是上一部的操作，根据数据处理结果，默认操作应该输出的是uk，看结果 4、当flag为jp的时候，是空操作，空操作不需要设置什么，像图中直接引用就行 5、过滤记录，过滤操作 阅读全文
posted @ 2017-11-30 23:02
Wind_LPH
阅读(1931)
评论(0)
推荐(0)
摘要：
行扁平化，多行记录只有一个字段不同时，将不同字段转变为列。如下，最后解释一下原理及设计不足之处。 第一种情况，数据特点，flag为a的有两行，flag为b的有三行 行扁平化设置，扁平化后的目标字段，输入流中Grid Data 中flag为b的有三个：1,2,3，所以我们在这里也需要设计三列 看最后e 阅读全文
posted @ 2017-11-30 21:36
Wind_LPH
阅读(4952)
评论(0)
推荐(1)
摘要：
两个控件，去除重复记录，Unique Rows(HashSet)，以及字段选择，如下 1、去除重复记录，要求按照去除重复列进行排序才行 Data GRid 输入信息，按照如下，及去除重复记录的要求，按照flag去除重复记录，只会有四条记录 去除重复记录设置， 结果输出，只输出了四行 2、Unique 阅读全文
posted @ 2017-11-29 23:41
Wind_LPH
阅读(21902)
评论(3)
推荐(0)
摘要：
1、Row Normaliser，将一行多列数据转换为多行一列数据。 输入数据流： 计算器配置如下： 与计算器相连接的excel输出如下： Row Normaliser，设置如下， 与Row Normaliser连接的Excel输入如下 2、Split field to rows 字段拆分，一个单元 阅读全文
posted @ 2017-11-29 23:08
Wind_LPH
阅读(14871)
评论(0)
推荐(0)
摘要：
1、值映射，只支持简单的映射关系，不支持数据库表之间的映射 2、Replace in String：替换字段里的值 Data Grid 中数据 Replace in String 设置如下 结果如下； 3、Set field value 和 Set field value to a constant 阅读全文
posted @ 2017-11-28 22:59
Wind_LPH
阅读(508)
评论(0)
推荐(0)
浙公网安备 33010602011771号