摘要: 榨干Spark性能-driver、exector内存突破256M 阅读全文
posted @ 2018-01-11 13:40 junneyang 阅读(2968) 评论(0) 推荐(0)
摘要: Sparkstreaming-性能调优 阅读全文
posted @ 2018-01-11 13:39 junneyang 阅读(1597) 评论(0) 推荐(0)
摘要: 软件设计-非功能性需求-性能-可靠性-安全性等 阅读全文
posted @ 2018-01-11 13:39 junneyang 阅读(2210) 评论(0) 推荐(0)
摘要: Spark-架构 Spark-架构 Spark Master at spark://node-01:7077spark clustermanager_百度搜索看了之后不再迷糊-Spark多种运行模式 - 简书Spark不同Cluster Manager下的数据本地性表现 - CSDN博客Spark架 阅读全文
posted @ 2018-01-11 13:38 junneyang 阅读(214) 评论(0) 推荐(0)
摘要: Kafka-副本-分区设置-性能调优 阅读全文
posted @ 2018-01-11 13:38 junneyang 阅读(2703) 评论(0) 推荐(0)
摘要: SparkStreaming-Tasks-数量如何设置? 阅读全文
posted @ 2018-01-11 13:37 junneyang 阅读(2021) 评论(0) 推荐(0)
摘要: Spark-性能调优-系列文章 阅读全文
posted @ 2018-01-11 13:37 junneyang 阅读(179) 评论(0) 推荐(0)
摘要: Spark-空RDD判断与处理 阅读全文
posted @ 2018-01-11 13:36 junneyang 阅读(4745) 评论(0) 推荐(0)
摘要: Git-add之后-忽略部分文件的方法 阅读全文
posted @ 2018-01-11 13:36 junneyang 阅读(2139) 评论(0) 推荐(0)
摘要: Spark-Hadoop-架构对比 注意,本文的多进程和多线程,指的是同一个节点上多个任务的运行模式。无论是MapReduce和Spark,整体上看,都是多进程:MapReduce应用程序是由多个独立的Task进程组成的;Spark应用程序的运行环境是由多个独立的Executor进程构建的临时资源池 阅读全文
posted @ 2018-01-11 13:35 junneyang 阅读(568) 评论(0) 推荐(0)
摘要: Kafka-分区数-备份数-如何设置-怎么确定-怎么修改 阅读全文
posted @ 2018-01-11 13:35 junneyang 阅读(3005) 评论(0) 推荐(0)
摘要: Kafka-数据倾斜问题-参考资料-解决方案 阅读全文
posted @ 2018-01-11 13:35 junneyang 阅读(3800) 评论(0) 推荐(0)
摘要: Scala-使用ExecutorService-等待所有线程完成 阅读全文
posted @ 2018-01-11 13:34 junneyang 阅读(894) 评论(0) 推荐(0)
摘要: Eclipse-Build-缓慢-卡住 阅读全文
posted @ 2018-01-11 13:33 junneyang 阅读(924) 评论(0) 推荐(0)
摘要: PS-查看Java进程-线程数 阅读全文
posted @ 2018-01-11 13:33 junneyang 阅读(4058) 评论(0) 推荐(0)
摘要: Scala-case-参考资料 阅读全文
posted @ 2018-01-11 13:32 junneyang 阅读(507) 评论(0) 推荐(0)
摘要: Sparkstreaming-共享变量-缓存RDD-到底是什么情况? 阅读全文
posted @ 2018-01-11 13:32 junneyang 阅读(1270) 评论(0) 推荐(0)
摘要: Scala-调用Java-集合 阅读全文
posted @ 2018-01-11 13:31 junneyang 阅读(832) 评论(0) 推荐(0)
摘要: SAX解析characters 错误截取问题的解决 阅读全文
posted @ 2018-01-11 13:31 junneyang 阅读(509) 评论(0) 推荐(0)
摘要: Java-正则匹配-性能优化 阅读全文
posted @ 2018-01-11 13:30 junneyang 阅读(3223) 评论(0) 推荐(0)