摘要: 注意:StdIn是在scala2.11.-之后才加入的,之前的不具有。 大数据特定:数据量大、数据类型繁多、处理速度快、价值密度低。 MapReduce 进行迭代计算非常消耗资源,因为每次迭代都需要从磁盘中写入、读取中间数据,I/O开销大 Scala:基本数据类型 Unit:类似java的void 阅读全文
posted @ 2022-01-05 21:53 新古董 阅读(37) 评论(0) 推荐(0)
摘要: StdIn是在scala2.11.-之后才加入的,之前的不具有。 阅读全文
posted @ 2022-01-05 21:46 新古董 阅读(803) 评论(0) 推荐(0)
摘要: 由于基础不牢,重新对大数据相关基础知识进行学习,使用的资料是 林子雨的《大数据技术原理与应用》 大数据基本处理流程: 数据采集、储存、分析、结果呈现等(采集、预处理、储存和管理、挖掘和可视化(处理和分析)、隐私保护、数据安全) 大数据计算模式: 云计算代表了以虚拟化技术为核心、以低成本为目标的动态可 阅读全文
posted @ 2022-01-05 17:27 新古董 阅读(91) 评论(0) 推荐(0)