xiaojy

摘要： 一、环境准备 二、下载安装 三、运行软件 四、核心文件配置 五、在Linux上运行 六、服务器定时运行Job 一、环境准备 1.1 Centos7 1.2 创建用户 $ useradd -m -g bigdata etl -s /bin/bash # ll /home/查看是否创建成功 $ pass 阅读全文

摘要： 本案例基于kettle8.2 ，以sakila_dwh案例为素材，相关数据网络下载 一、流程图 二、生成小时、分钟、秒数据 1，新建转换-输入-生成记录，步骤名称为“生成小时” 2，复制两次上述步骤，分别命名为“生成分”、“生成秒” 3，按以下标记输入内容： （1）生成时： （2）生成分： （3）生 阅读全文

摘要： 一、流程图 二、生产10年日期记录 1，新建转换-输入-生成记录 2，生产初始日期，在字段按以下格式输入“initial_date” 三、增加日期序列 1，点击“转换-增加序列” 2，定义值的名称为“DaySquence” 四、生成日期属性 1，点击“脚本-JavaScript代码” 2，将以下代码 阅读全文

摘要： 一、内容大纲 1，文本文件抽取 二、文本文件抽取 2.1 流程图 2.2 操作流程 2.2.1 文本文件输入 1， 在转换-输入中选择‘文本文件输入’ 2， 进入菜单，在‘文件’输入文件路径（如果要合并文件夹内数据，输入文件夹路径并填写正则表达式） 3， 进入‘内容’选项： 输入文件类型； 填写分割 阅读全文

摘要： 一、内部表 ###1.1 基本操作 1.1.1, 是最简单的一种表，相当于是MySQL中的表，是将数据保存到Hive自己的数据仓库中，同时会在HDFS中创建对应目录，默认路径为/user/hive/warehous; 1.1.2, 创建一个员工信息表： create table emp (empno 阅读全文

摘要： 一、添加数据标签 使用的是plt.text for x,y in zip(X,Y): plt.text(x, y+0.5, '%.0f' % y, ha='center', va= 'bottom',fontsize=11) X为横轴、Y为纵轴数据，y+0.5表示向上平移动0.5 阅读全文

摘要： Date = var firstYear=YEAR(min(SaleByMonth[sale_date_yymmdd])) return ADDCOLUMNS(FILTER(CALENDARAUTO(),YEAR([Date])>=firstYear), "year",DATE(YEAR([Date 阅读全文

摘要： 一、格式字符串由颜色、标记和线条部分组成： fmt = '[marker][line][color]' 它们中的每一个都是可选的。如果未提供，则使用样式循环中的值。例外：如果line给出，但没有marker，数据将是一条没有标记的线。 [color][marker][line]也支持其他组合，但请注 阅读全文

摘要： 一、下载安装 二、文件配置 三、启动Flink 一、下载安装 1.1 下载地址：https://archive.apache.org/dist/flink，此处下载的文件是 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 1.2 解压缩 进入文件目录 tar -zxv 阅读全文

摘要： 一 下载安装 二 文件配置 三 启动Zeppelin 四 用户管理 五 数据源设置 六 interpreter设置 一、下载安装 1.1 下载地址：http://zeppelin.apache.org/download.html 下载页面会提供两种二进制包： zeppelin-0.9.0-bin-n 阅读全文