摘要：# 项目概况与技术方案 ## 概述 ​ 该项目是一个针对用户行为日志分析的T+1离线数仓项目；通过构建数仓分析，了解用户的活跃情况、交互情况、流量概况等信息。数仓通过云服务器集群进行部署，开发后端程序提供服务接口。参考《大数据之路:阿里巴巴大数据实践》，该数仓构建了ODS层、DWD层、DWS层、AD 阅读全文

摘要：# 数据及报表概况 ## 数据概况 由于是模拟日志，因此日志包含的信息是已知可控的。如果是生产场景的话，是需要进行ETL的，即需要从多个业务系统抽取数据到数仓。ETL的工作包含：数据探索、ETL策略、数据映射和存储过程开发。 - 数据探索：从技术上看，业务系统的数据库信息、库表信息、字段信息可能是模 阅读全文

摘要：## IDMapping的意义 现实存在的问题： ​ 对于一个系统而言，标识用户的方式有很多，用户ID、手机号、身份证号、设备ID等等；那如何确认用户的唯一标识呢？如果只是采用用户ID，那么如果用户没有登录的日志记录就失去价值了； ​ 再对于多个系统而言，如何让多系统中的一个自然人只有一个唯一标识呢 阅读全文

摘要：# 问题排查org.apache.hadoop.ipc.Client > 背景是在三台云服务器上部署Hadoop集群，当提交job到yarn上执行时，一直处在map阶段，记录一下排查问题的过程。 ![](https://img2023.cnblogs.com/blog/3161112/202308/ 阅读全文

摘要：# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 阅读全文