112学习总结

sparkde四大特点

速度快：比hadoop的mapreduce快100倍；spark处理数据时，可以将中间处理结果存储到内存中；spark提供了非常丰富分算子，可以做到复杂任务在一个spark程序中完成
易于使用
通用性强：spark提供了spark sql、spark streaming、mlib及graphx在内的多个工具库
运行方式：spark支持多种运行方式，包括Hadoop和mesos上同时也支持standalone的独立运行模式，同时也可以运行在云kubernetes上；spark支持从hdfs、hbase、cassandra、kafka等多种途径获取数据