摘要：
HDFS 1.hdfs整体工作机制： 1>hdfs:分布式文件系统。 hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 2>有目录结构，顶层目录是： / 3>系统中存放的就是文件 4>系统可以提供对文件的：创建、删除、修改、查看、移动等功能 2.hdfs跟普通的单机文件系统有区别： 1>单 阅读全文
posted @ 2019-11-17 22:42
杨阳洋^_^!
阅读(147)
评论(0)
推荐(0)
摘要：
spark项目技术点整理 1.性能调优： 1>分配更多的资源：性能调优的王道就是分配和增加更多的资源。写完一个spark作业后第一个要是调节最优的资源配置，能够分配的资源达到你的能力范围的顶端后，才是考虑以后的性能调优。 2>分配那些资源：executor,cpu per executor,memo 阅读全文
posted @ 2019-11-17 15:11
杨阳洋^_^!
阅读(428)
评论(0)
推荐(0)
浙公网安备 33010602011771号