大数据笔记

大数据学习

章节	概述
第一章	大数据概论
第二章	大数据采集及预处理
第三章	大数据分析概论
第四章	大数据可视化
第五章	Hadoop理论
第六章	HDFS和Common概论
第七章	MapReduce概论
第八章	NoSQL概论
第九章	Spark概论
第十章	云计算与大数据
第十一章	典型大数据解决方案

大数据概论

1.1 大数据背景
    无处不在的大数据：物联网数据、交通数据、社交网络数据、零售数据等
 
1.2 大数据的基本特征
    4O1V:  ①数据量大 ②多样化 ③数据价值密度化 ④速度快，时效高 ⑤数据是在线的
 
1.3大数据的处理流程
    数据汲取与集成→大数据分析→数据可视化
 
1.4大数据的技术架构
    

 
1.5大数据分析的四种典型工具
    
一：Hadoop  二：Spark  三：Strom  四：Apache Drill
 

大数据采集与预处理

2.1数据采集
    是指从真实世界中获得原始数据的过程
 
2.2大数据的预处理
    ①数据清洗②数据集成③数据变换④数据规约
 

大数据分析概论

3.1大数据分析
    提出问题→数据采集→数据分析→可视化→效果评估
 

思考：什么是大数据跨域？其解决办法有哪些？

跨域：浏览器从一个域名的网页去请求另一个域名的资源时，域名、端口、协议任一不同都是跨域。
在前端部分其实我们通常所说的跨域是狭义的，是由浏览器同源策略限制的一类请求场景。

那么是什么同源策略呢？

同源策略/SOP是一种约定，由Netscape公司1995年引入浏览器，它是浏览器最核心也最基本的安全功能，如果缺少了同源策略，浏览器很容易受到XSS、CSFR等攻击。所谓同源是指"协议+域名+端口"三者相同，即便两个不同的域名指向同一个ip地址，也非同源。

同源策略限制以下几种行为： 1.) Cookie、LocalStorage 和 IndexDB 无法读取 2.) DOM 和 Js对象无法获得 3.) AJAX 请求不能发送