2019年6月25日
启用yarn日志聚集功能
摘要： 在yarn-site.xml配置文件中添加如下内容： ##开启日志聚集功能 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>##日志保存7天（单位秒） <property> <nam 阅读全文
posted @ 2019-06-25 16:43 技术研究与问题解决 阅读(421) 评论(0) 推荐(0)
开启spark日志聚集功能
摘要： spark监控应用方式： 1)在运行过程中可以通过web Ui:4040端口进行监控 2)任务运行完成想要监控spark，需要启动日志聚集功能 开启日志聚集功能方法： 编辑conf/spark-env.sh文件，在其中加入如下部分： SPARK_HISTORY_OPTS=-Dspark.histor 阅读全文
posted @ 2019-06-25 16:39 技术研究与问题解决 阅读(774) 评论(0) 推荐(0)
Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解
摘要： 梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体 阅读全文
posted @ 2019-06-25 15:58 技术研究与问题解决 阅读(993) 评论(0) 推荐(0)
linux历史命令查找快捷方式
摘要： 一、回到上次操作的目录 # cd -进入上次访问目录二、历史命令搜索操作快捷键：[Ctrl + r], [Ctrl + p], [Ctrl + n]在终端中按捉 [Ctrl] 键的同时 [r] 键，出现提示：(reverse-i-search), 此时你尝试一下输入你以前输入过的命令，当你每输入一个 阅读全文
posted @ 2019-06-25 15:13 技术研究与问题解决 阅读(1801) 评论(0) 推荐(0)