2022寒假学习进度5
由于基础不牢,重新对大数据相关基础知识进行学习,使用的资料是 林子雨的《大数据技术原理与应用》
大数据基本处理流程:
数据采集、储存、分析、结果呈现等(采集、预处理、储存和管理、挖掘和可视化(处理和分析)、隐私保护、数据安全)
大数据计算模式:
云计算代表了以虚拟化技术为核心、以低成本为目标的动态可扩展的网络应用基础设施
云计算包括三种典型服务模式:
OpenStack构建云环境的开源软件
云计算关键技术:
虚拟化(Hyper-V, VMware, KVM, Virtualbox, Xen, Qemu)、分布式存储(GFS(分布式文件系统),HDFS,BigTable(分布式数据管理系统),HBase)、分布式计算(MapReduce(并行变成模型)、Hadoop)、多租户(核心:数据隔离、客户化配置、架构扩展、性能定制)
云计算中心:
包括:刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等
物联网:
技术架构:
关键技术:
识别和感知技术、网络与通信技术、数据挖掘与融合技术
联系与区别:
三次信息化浪潮:
第一次浪潮:1980年前后,个人计算机的出现,解决了信息处理的问题
第二次浪潮:1995年前后,互联网的出现,解决了信息传输的问题
第三次浪潮:2010年前后,物联网、云计算和大数据,解决了信息爆炸的问题
数据产生的三个阶段:
运营式系统阶段、用户原创内容阶段、感知式系统阶段