2017年9月11日
DStream算子讲解(一)
摘要： 先把目录列好，方便有条理的进行整理 阅读全文
posted @ 2017-09-11 22:36 bf378 阅读(279) 评论(0) 推荐(0)
笔试题目积累
摘要： 1：接口可以被哪一些修饰符修饰？ 答案：interface only public & abstract are permitted、 2：输出下面的答案！ 阅读全文
posted @ 2017-09-11 21:30 bf378 阅读(116) 评论(0) 推荐(0)
session、cookie 记住登录状态的实现
摘要： Cookie的机制 Cookie是浏览器（User Agent）访问一些网站后，这些网站存放在客户端的一组数据，用于使网站等跟踪用户，实现用户自定义功能。 Cookie的Domain和Path属性标识了这个Cookie是哪一个网站发送给浏览器的；Cookie的Expires属性标识了Cookie的有 阅读全文
posted @ 2017-09-11 10:17 bf378 阅读(2775) 评论(0) 推荐(0)
2017年9月9日
键值对的算子讲解 PairRDDFunctions
摘要： 1：groupByKey 根据key进行聚集，value组成一个列表，没有进行聚集，所以在有shuffle操作时候避免使用概算子，会增大通信数据量。需要考虑进行一个本地的Combiner，所以可以直接使用reduceByKey 2：cogroup 对每一个rdd先进行groupByKey，然后在对相 阅读全文
posted @ 2017-09-09 22:30 bf378 阅读(828) 评论(0) 推荐(0)
Spark算子讲解(二)
摘要： 1：glom 将原RDD的元素收集到一个数组，创建一个数组类型的RDD 2：getNumPartitions 求RDD的分区书 3：groupBy 根据指定函数进行分组，例如： 4：randomSplit 将一个RDD根据weights数组进行划分多个RDD，返回一个数组。 5：countByVal 阅读全文
posted @ 2017-09-09 22:29 bf378 阅读(535) 评论(0) 推荐(1)
Spark算子讲解(一)
摘要： 1：Zip算子 将两个RDD做zip操作，如果当两个RDD分区数目不一样的话或每一个分区数目不一样的话则会异常。 例如： 异常信息： 例如: 异常信息： 2：zipPartitions 以分区为单位进行zip操作，要求分区数目相等。否则异常。 3：zipWithIndex 给RDD中的每一个元素添加 阅读全文
posted @ 2017-09-09 21:57 bf378 阅读(5158) 评论(0) 推荐(2)
G1垃圾收集器和CMS垃圾收集器 (http://mm.fancymore.com/reading/G1-CMS%E5%9E%83%E5%9C%BE%E7%AE%97%E6%B3%95.html#toc_8)
摘要： 参考来源 JVM 体系架构 堆/栈的内存分配 静态和非静态方法的内存分配 CMS 回收算法 应用场景 CMS 垃圾收集阶段划分(Collection Phases) CMS什么时候启动 CMS缺点 G1收集算法 G1的发展 分代垃圾回收瓶颈 G1使用场景 G1特点 G1堆内存的分配 G1的进程内存占 阅读全文
posted @ 2017-09-09 11:03 bf378 阅读(1739) 评论(0) 推荐(0)
Scala中柯里化函数
摘要： 高阶函数转一阶函数： 阅读全文
posted @ 2017-09-09 09:23 bf378 阅读(413) 评论(0) 推荐(0)
2017年9月8日
Spark Submit 脚本
摘要： 当我们需要命令行传递参数时候，将--class 写在前面，然后是jar 最后是参数 spark-submit --master yarn --num-executors 3 --executor-memory 1500m --class com.daxin.ConsumeFromKafka jd.j 阅读全文
posted @ 2017-09-08 10:55 bf378 阅读(228) 评论(0) 推荐(0)
2017年9月5日
Java内存溢出分析方法(Eclipse Memory Analyzer 使用简单入门)
摘要： 转载至：http://outofmemory.cn/java/jvm/OutOfMemoryError-analysis 工具 安装Memory Analyse Tools(MAT) 工具， 可以直接在eclipse中安装其相应的插件，安装方法可以参考另一篇eclipse插件汇总 不会用的可以参考一 阅读全文
posted @ 2017-09-05 10:44 bf378 阅读(8073) 评论(0) 推荐(0)