豆豆sd66

摘要： 数据模型包括: 概念模型、逻辑模型和物理模型 概念模型是梳理企业业务流程得出来的，用来描述重要实体之间的关系。比如每个企业有不同的部门，每个部门有不同的员工，每个员工有不同的薪资，那么，部门、员工、薪资就是三个不同的实体。概念模型就可以描述这三个实体之间的关系。 逻辑模型是对概念模型的细化，确定每个 阅读全文

摘要： 在hive sql中进行全局排序时,和sql一样使用order by 进行全局排序. 但是需要注意, hive会将所有数据交给一个reduce来进行计算排序, 这样数据量就很大, 很耗费时间. Hive的适用场景为离线批处理，在执行全量数据计算任务时，一般是不会用到全局排序的。但在数据查询中，全局排 阅读全文

摘要： dataworks可以帮助企业完成 数据集成、数据开发、数据治理、数据服务，将大数据全生命周期管理整合到一条完整链路中。 （一）一条数据开发链路 首先满足企业数据打通的需求。DataWorks 数据集成能够在复杂网络条件下，打通 各个异构数据源的传输通道，实现近 50 种异构数据源的离线/实时的同步 阅读全文