随笔分类 -  大数据

摘要：1. 大数据开发要求 1.1 具备项目规划与过程管理的能力 能够参与大数据项目的全生命周期，包括设计、开发、测试、部署和交付等。 1.2 具备数据采集与清洗的能力 能够梳理业务数据，并根据数据特征制定采集策略，参与采集系统的开发和维护； 能够根据数据清洗规范，设计数据接口及数据模型，并实现数据清洗流 阅读全文

摘要：1. 大数据开发要求 1.1 具备开展大数据应用开发环境安装与部署的能力 能够安装主流操作系统； 操作系统基础知识及常用操作命令。 1.2 具备数据采集与清洗的能力 能够安装部署并运行主流大数据平台； 使用数据采集工具对多源异构数据进行采集； 数据清洗工具对数据进行抽取、转换和加载。 1.3 具备数 阅读全文