摘要:
Spark-架构 Spark-架构 Spark Master at spark://node-01:7077spark clustermanager_百度搜索看了之后不再迷糊-Spark多种运行模式 - 简书Spark不同Cluster Manager下的数据本地性表现 - CSDN博客Spark架 阅读全文
posted @ 2018-01-11 13:38
junneyang
阅读(214)
评论(0)
推荐(0)
摘要:
Kafka-副本-分区设置-性能调优 阅读全文
posted @ 2018-01-11 13:38
junneyang
阅读(2703)
评论(0)
推荐(0)
摘要:
SparkStreaming-Tasks-数量如何设置? 阅读全文
posted @ 2018-01-11 13:37
junneyang
阅读(2021)
评论(0)
推荐(0)
摘要:
Spark-性能调优-系列文章 阅读全文
posted @ 2018-01-11 13:37
junneyang
阅读(179)
评论(0)
推荐(0)
摘要:
Spark-空RDD判断与处理 阅读全文
posted @ 2018-01-11 13:36
junneyang
阅读(4745)
评论(0)
推荐(0)
摘要:
Git-add之后-忽略部分文件的方法 阅读全文
posted @ 2018-01-11 13:36
junneyang
阅读(2139)
评论(0)
推荐(0)
摘要:
Spark-Hadoop-架构对比 注意,本文的多进程和多线程,指的是同一个节点上多个任务的运行模式。无论是MapReduce和Spark,整体上看,都是多进程:MapReduce应用程序是由多个独立的Task进程组成的;Spark应用程序的运行环境是由多个独立的Executor进程构建的临时资源池 阅读全文
posted @ 2018-01-11 13:35
junneyang
阅读(568)
评论(0)
推荐(0)
摘要:
Kafka-分区数-备份数-如何设置-怎么确定-怎么修改 阅读全文
posted @ 2018-01-11 13:35
junneyang
阅读(3005)
评论(0)
推荐(0)
摘要:
Kafka-数据倾斜问题-参考资料-解决方案 阅读全文
posted @ 2018-01-11 13:35
junneyang
阅读(3800)
评论(0)
推荐(0)
摘要:
Scala-使用ExecutorService-等待所有线程完成 阅读全文
posted @ 2018-01-11 13:34
junneyang
阅读(894)
评论(0)
推荐(0)