Hadoop（一）大数据概论

大数据概念

• 大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
• 按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB
• 大数据主要解决：海量数据的采集、存储和计算分析的问题

大数据特点（4V）

• Volume（大量）、Velocity（高速）、Variety（多样）、Value（低介价值密度）

1、关于多样性

• 这种类型的多样性让数据被分为结构化数据和非结构化数据
• 结构化数据：相对于以往便于存储的以数据库/文本为主的结构化数据
• 非结构化数据：包括网络日志、音频、视频、图片、地理位置信息等

2、关于低价值密度

• 价值密度的高低与数据总量的大小成反比