11 2021 档案

我的Kettle学习笔记（3）—时间维度表创建
摘要：本案例基于kettle8.2 ，以sakila_dwh案例为素材，相关数据网络下载 一、流程图 二、生成小时、分钟、秒数据 1，新建转换-输入-生成记录，步骤名称为“生成小时” 2，复制两次上述步骤，分别命名为“生成分”、“生成秒” 3，按以下标记输入内容： （1）生成时： （2）生成分： （3）生 阅读全文
posted @ 2021-11-26 16:39 xiaojy 阅读(817) 评论(0) 推荐(0)
我的Kettle学习笔记（2）—日期维度表创建
摘要：一、流程图 二、生产10年日期记录 1，新建转换-输入-生成记录 2，生产初始日期，在字段按以下格式输入“initial_date” 三、增加日期序列 1，点击“转换-增加序列” 2，定义值的名称为“DaySquence” 四、生成日期属性 1，点击“脚本-JavaScript代码” 2，将以下代码 阅读全文
posted @ 2021-11-17 17:27 xiaojy 阅读(979) 评论(0) 推荐(0)
我的Kettle学习笔记（1） - 数据抽取
摘要：一、内容大纲 1，文本文件抽取 二、文本文件抽取 2.1 流程图 2.2 操作流程 2.2.1 文本文件输入 1， 在转换-输入中选择‘文本文件输入’ 2， 进入菜单，在‘文件’输入文件路径（如果要合并文件夹内数据，输入文件夹路径并填写正则表达式） 3， 进入‘内容’选项： 输入文件类型； 填写分割 阅读全文
posted @ 2021-11-12 11:39 xiaojy 阅读(632) 评论(0) 推荐(0)
Hive表分类—内部表、外部表、分区表、桶表和视图
摘要：一、内部表 ###1.1 基本操作 1.1.1, 是最简单的一种表，相当于是MySQL中的表，是将数据保存到Hive自己的数据仓库中，同时会在HDFS中创建对应目录，默认路径为/user/hive/warehous; 1.1.2, 创建一个员工信息表： create table emp (empno 阅读全文
posted @ 2021-11-11 18:00 xiaojy 阅读(186) 评论(0) 推荐(0)
matplotlib笔记（2）— 数据标签
摘要：一、添加数据标签 使用的是plt.text for x,y in zip(X,Y): plt.text(x, y+0.5, '%.0f' % y, ha='center', va= 'bottom',fontsize=11) X为横轴、Y为纵轴数据，y+0.5表示向上平移动0.5 阅读全文
posted @ 2021-11-08 10:28 xiaojy 阅读(116) 评论(0) 推荐(0)
PowerBI常用笔记（1）-添加日期表
摘要：Date = var firstYear=YEAR(min(SaleByMonth[sale_date_yymmdd])) return ADDCOLUMNS(FILTER(CALENDARAUTO(),YEAR([Date])>=firstYear), "year",DATE(YEAR([Date 阅读全文
posted @ 2021-11-05 09:21 xiaojy 阅读(539) 评论(0) 推荐(0)