03 2017 档案

Spark处理日志文件常见操作
摘要：spark有自己的集群计算技术,扩展了hadoop mr模型用于高效计算，包括交互式查询和 流计算。主要的特性就是内存的集群计算提升计算速度。在实际运用过程中也当然少不了对一些数据集的操作。下面将通过以下练习来深化对spark的理解，所有练习将使用python完成，java、scala版本将后续完成 阅读全文
posted @ 2017-03-23 15:43 成平艺君 阅读(2029) 评论(0) 推荐(0)
Hadoop/Spark开发环境配置
摘要：修改hostname bogon 为localhost 查看ip地址 执行结果 此时python 版本为2.7 将python版本升级至3.0及以上 一、 下载欲升级python版本 Python-3.4.5,将包放于本机与虚似机的共享目录下，上传至虚似机的opt目录下 二、 解压 三、阅读READ 阅读全文
posted @ 2017-03-21 14:29 成平艺君 阅读(2567) 评论(0) 推荐(1)