大数据项目课：项目实战：大数据电商用户画像
课程大纲
第1章 用户画像基础知识
| 第1章 用户画像基础知识 | 1.用户画像基础知识 2.开发用户画像需要用到技术 3.用户画像及其应用规划 4.用户标签应用实施方案 5.工程开发代码案例 6.需要开发的表结构设计 |
第2章 用户标签指标体系
| 第2章 用户标签指标体系 | 1.用户属性指标体系 2.用户行为指标体系 3.用户消费指标体系 4.用户风控指标体系 5.标签口径及数据调研分析 6.标签命名方式 |
第3章 集群环境部署
| 第3章 用户画像集群环境部署 | 1.搭建虚拟机开发环境 2.HDFS的安装及应用 3.Zookeeper的安装及应用 4.Spark的安装及应用 5.MySQL的安装及应用 6.Hive的安装及应用 7.Hbase的安装及应用 8.Sqoop的安装及应用 9.kafka的安装 |
第4章 标签数据存储
| 第4章 标签数据存储 | 1.Hive存储及应用 2.Mysql存储及应用 3.Hbase存储及应用 4.Elasticsearch存储及应用 5.为什么用不同数据库进行存储 |
第5章 标签数据开发
| 第5章 标签数据开发 | 1.数据仓库基础知识 2.统计类标签开发案例 3.规则类标签开发案例 4.挖掘类标签开发案例 5.流式计算标签开发—kafka 6.流式计算标签开发-Spark Streaming 7.Streaming上线工程化 8.Spark人群计算功能开发 9.打通数据服务层 |
第6章 项目性能调优
| 第6章 项目性能调优 | 1.数据倾斜调优 2.Hive合并小文件 3.使用Spark缓存 4.开发中间表 |
第7章 作业流程调度
| 第7章 作业流程调度 | 1.crontab命令调度 2.Airflow介绍 3.Airflow安装 4.Airflow主要功能模块 5.Airflow工作流调度 6.画像工程化调度方案 7.标签数据监控预警 8.ETL异常问题排查 |
第8章 用户画像项目产品化
| 第8章 用户画像项目产品化 | 1.标签视图与标签查询 2.标签编辑管理 3.用户人群圈定与推送 4.多维透视分析 |
第9章 用户画像应用
| 第9章 用户画像应用 | 1.业务数据分析 2.AB效果测试 3.精准营销 4.用户行为分析 5.应用效果评估 |
