文章分类 -  大数据

摘要:转自:俺是亮哥 https://www.jianshu.com/p/65a3476757a5 早就想写这章了,一直懒得动笔,不过还好,总算静下心来完成了。 刚接触Spark时,很希望能对它的运行方式有个直观的了解,而Spark同时支持多种运行模式,官网和书籍中对他们的区别所说不详,尤其是模式之间是否 阅读全文
posted @ 2019-03-06 12:39 逐梦客! 阅读(149) 评论(0) 推荐(0)
摘要:参考目录: https://blog.csdn.net/m0_37683758/article/details/86840405 作者:纯洁的微笑链接:https://www.imooc.com/article/25826来源:慕课网本文原创发布于慕课网 ,转载请注明出处,谢谢合作 hbase和ha 阅读全文
posted @ 2019-03-01 18:46 逐梦客! 阅读(481) 评论(0) 推荐(0)
摘要:深入浅出 Hadoop YARN:https://zhuanlan.zhihu.com/p/54192454?utm_source=qq 常用命令 统计文件系统的可用空间信息 hadoop fs -df -h / 统计文件夹的大小信息 hadoop fs -du -s -h /aaa/* 统计一个指 阅读全文
posted @ 2019-03-01 18:24 逐梦客! 阅读(488) 评论(0) 推荐(0)
摘要:https://edu.aliyun.com/roadmap/bigdata?spm=5176.11399608.aliyun-edu-index-pop.3.5c854679wF86fWHadoop 生态系统 Hadoop是什么 1.Hadoop是一个开源的大数据框架 2.Hadoop是一个分布式 阅读全文
posted @ 2019-02-28 10:01 逐梦客! 阅读(344) 评论(0) 推荐(0)
摘要:版本介绍 Ubuntu:18.04 PySpark:2.4.0 JDK:jdk8 Spark:spark-2.4.0-bin-hadoop2.7 安装jdk 下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk11-dow 阅读全文
posted @ 2019-02-26 11:07 逐梦客! 阅读(776) 评论(0) 推荐(0)