摘要： 存储数据类型：HDFS用户行为日志、HDFS业务数据 用户行为日志建表思想：建单表，1个字段存储日志。每条数据与日志表对应。 分区规划：按天分区， 业务数据建表思想：取决于同步哪些业务表。 表结构：与业务表结构一致。 分区规则：按天分区。 DIM/DWD 阅读全文

摘要： 建模理论：关系建模(ER建模)、纬度建模(DIM建模) 关系建模严格遵守三范式(3NF)理论 ,也因为三范式的特性，使关系模型较为松散、零碎、物理表数量多，数据冗余低，数据一致性容易得到保证，但是在大数据场景查询效率较低。 1. 属性不可分割：单表一个字段的数据不可分割成多个字段，即数据原子性要求。 阅读全文

摘要： https://toutiao.io/posts/2lhdwtm/preview 阅读全文

摘要： 数据源：业务数据、用户行为数据、爬虫数据 数据源类型：结构化、半结构化、非结构化数据类型。 数仓分层架构 数仓概念：是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合. *面向主题:即按照决策者关注的问题和纬度组织数据，而不是按照也饿无功能组织。 *集成性：将多个不同数据源的数据集成到一起 阅读全文

摘要： 区别：　1. 存储过程一旦创建就想函数一样可以调用，但是函数一定有返回值，存储过程可以有可以没有。 2. 存储过程和视图有着相似的有点，安全，减少网络传输量，但是视图只能查不能增/删/改，存储过程可以实现更复杂的数据处理，定义变量、游标等。 存储过程 概念：一组经过预编译的SQL语句封装。 执行过程 阅读全文

摘要： MySQL中所有的定义变量，参数，字段都是 名在前类型在后。 Q：建表时，字段INT(20)中的20表示什么？一定要带值吗？INT(10)和INT(20)结果一样吗？ A：在配合zerofill 属性使用时，20表示位数小于20时前导补0，只写类型INT也可以，默认值11；所以INT(10)和INT 阅读全文

摘要： 1. not in 失效 现象：where字句中使用了not in (select field1...) 理应由上千条记录，实际记录为0. 原因：not in 中有null值，导致not in失效。 解决：修改语句为not in (select field1...where field1 is no 阅读全文

摘要： 大数据是什么，有什么特点？ 大数据概念：海量的、高速增长率的、多样化的信息资产。 大数据特点(4V)：Volume大量、velocity高处理效率的、variety多样化的(机构/非结构/半结构)、低价值密度的。 Hadoop是什么，有什么优势？ 狭义：Apache 基金会开发的分布式系统基础架构， 阅读全文

摘要： 创建测试表aaa如下： 1. 获取分数 高>低 排名，且要求同分数情况不并列。 结果： SQL ：SELECT score ,(@paiming :=@paiming+1) rank from aaa ,(SELECT @paiming:=0) bbb ORDER BY score DESC 分析1 阅读全文

摘要： 1. Java跳出for跳出循环方式： continue：跳出当前层循环的当前语句，执行当前层循环的下一条语句。 break：跳出当前层循环。 break+标签：多层循环时，跳出具体某层循环。 return：方法内直接返回。 多层循环举例： 1 public class BreakMutiLoop 阅读全文