妫陈青衫

摘要： 三数和 算法 思考 阅读全文

摘要： RDD操作大致分为转换操作和行动操作，由于spark的惰性机制，导致在遇到行动操作前是不会进行运算的， 直到遇到行动才做才出发运算。 转换操作： filter 过滤 map 转换函数 flatMap 与map类似，但是映射为0个或多个 groupByKey 返回key,iterable reduce 阅读全文

摘要： 在某次项目的开发过程中，因为是接手的项目，所以下意思认为参数的配置是比较合理的，基本上除非涉及到地址等变更内容外，没有关注其他参数。当项目提测时，测试告诉我说整个系统并发到10基本就会被压垮，让我去检查下接口的设置。 我去系统上下载了日志，查看了堆栈内容，发现并没有明显的任何拖延时间的处理程序，整个 阅读全文