tootooquan

摘要： def 函数名称(参数列表):函数返回值类型={函数体} def looper(x: Long, y: Long): Long = { var a = x var b = y while (a != 0) { val temp = a a = b % a b = temp } //返回值 b } 若 阅读全文

摘要： SQL语句的执行顺序 1.from 2.where 3.group by...sum().. having... 4.select 5.order by 计算时间差值的函数 1)datediff(end_time,start_time) 计算两个date型之间的天数差 注意：结果是前-后，如果想得到 阅读全文

摘要： 全流程调度器部署 1.不同层数据装载脚本之间存在依赖关系 2.业务数据每天都产生，因此脚本每天都要执行--定时问题 可以考虑使用ooize、Azkaban，Ooize是重量级的任务调度系统，配置更复杂，配合界面UI使用 说到定时——想到linux中的crontab命令 crontab命令详解 命令格 阅读全文

摘要： 用户行为数据 主要包括页面数据、事件数据、曝光数据、启动数据和错误数据。 页面数据 页面数据主要记录一个页面的用户访问情况，包括访问时间、停留时间、页面路径等信息。 事件数据 事件数据主要记录应用内一个具体操作行为，包括操作类型、操作对象、操作对象描述等信息。 曝光数据 曝光数据主要记录页面所曝光的 阅读全文

摘要： 数据如何产生？ 使用脚本生成，模拟日志（并非真实的日志） 集群日志生成脚本 #!/bin/bash for i in hadoop102 hadoop103; do echo " $i " ssh $i "cd /opt/module/applog/; java -jar gmall2020-moc 阅读全文

摘要： Linux的环境变量可在多个文件中配置，如**/etc/profile**，/etc/profile.d/*.sh， ~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。 bash的运行模式可分为login shell和non-login shell。 例如， 阅读全文

摘要： 数据仓库概念 数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。 输入数据形式 数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。 业务数据（通过Sqoop框架） 各行业在处理事务过程中产生的数据。通常存储在My 阅读全文

摘要： 按从 Z 到 A 的顺序显示结果 字符串默认就是按字典顺序 Z 到 A 的排序：order by cust_name desc 先按XX排序，再按XX排序 先按顾客 ID 对结果进行排序，再按订单日期倒序排列。直接在order by中写多个字段即可。 select cust_id,order_num 阅读全文

摘要： ##根据用户自定义函数类别分为以下三种: (1)UDF(User-Defined-Function) 一进一出 (2)UDAF(User-Defined Aggregation Function) 聚集函数，多进一出 类似于:count/max/min (3)UDTF(User-Defined Ta 阅读全文

摘要： [root@localhost ~]# ls -ahl total 28K dr-xr-x . 2 root root 135 Dec 16 02:34 . dr-xr-xr-x. 17 root root 224 Dec 14 01:38 .. -rw . 1 root root 1.3K Dec 阅读全文