2021年10月11日
Linux----系统的优化
摘要： Linux系统优化 #掌握Linux系统常用优化工具的使用、系统网络性能进行优化的方法、文件系统的基本优化、系统预读缓冲区的优化方法以及掌握Swap分区及内存分配策略的修改方法 #free命令、top命令 *free用来显示内存的使用情况**top是Linux常用的性能分析工具* 1.查看swapp 阅读全文
posted @ 2021-10-11 11:56 世界终将是黑大帅的 阅读(68) 评论(0) 推荐(0) 编辑
Spark----shell操作
摘要： Spark-shell进行词频统计 1.将README.md文件上传至hdfs上： hadoop fs -put README.md / 2.进入shell编辑界面 spark-shell ①：val textFile = sc.textFile("/README.md") ②： textFile. 阅读全文
posted @ 2021-10-11 11:00 世界终将是黑大帅的 阅读(126) 评论(0) 推荐(0) 编辑
Spark---组件的维护
摘要： Scala #掌握Spark的架构#掌握Spark的工作原理#掌握Spark的安装部署#掌握Scala的架构#掌握Spark的参数修改方法#掌握Spark Shell的编程#掌握Spark的基础管理方法 注意:spark的版本号与Scala版本号是不一致的,spark依赖Scala 先安装Scala 阅读全文
posted @ 2021-10-11 10:15 世界终将是黑大帅的 阅读(64) 评论(0) 推荐(0) 编辑