// // // //

2019年10月2日

摘要: spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎,专门为大规模数据处理而设计,与 mapreduce 类似,不同的是,mapreduce 把中间结果 写入 hdfs,而 spark 直接写入 内存,这使得它能够实现实时计算。 spark 由 scala 语言开发, 阅读全文
posted @ 2019-10-02 11:54 努力的孔子 阅读(7999) 评论(0) 推荐(1)
 
摘要: 安装 yum yum 安装本来是个很简单的事情,只是网上的教程一般不全,每次装每次都踩坑,必须做个笔记了。 具体安装过程请自行百度,一堆,耐心点就好。 异常记录 1. 明明按教程一步步安装完了,仍然报错 There was a problem importing one of the Python 阅读全文
posted @ 2019-10-02 10:10 努力的孔子 阅读(1231) 评论(0) 推荐(0)