2019年9月2日
关于大数据中-----任务调度、资源调度
摘要： 1、 任务调度 a、RDD Objects >转换为DAG有向无环图 b、DAGScheduler 根据RDD之间的宽窄依赖切分Job，切分为Stage c、Stage本质上就是 TaskSet,Stage就会以TaskSet形式传给TaskScheduler d、TaskScheduler遍历Ta 阅读全文
posted @ 2019-09-02 20:19 花喵 阅读(1972) 评论(0) 推荐(0)
2019年8月20日
Spark中关于粗粒度细粒度
摘要： 一、粗粒度 1.工作原理： （1）Spark Streaming接收到实时数据流（data stream） （2）Spark Streaming把数据按照指定的时间段切成一片片小的数据块（小批次） （3）然后Spark Streaming把小的数据块传给Spark Engine处理 （4）Spark 阅读全文
posted @ 2019-08-20 20:25 花喵 阅读(941) 评论(0) 推荐(0)
2019年8月12日
爬虫效果--详细
摘要： 项目简介： 此项目为了方便同学们进行爬虫编写。涉及到的知识点有Html，Javascript、JQueryEcharts，Servlet 3.0,Jsoup，FastJson、IO流项目概要设计： 1、包结构的设计 必须满足MVC开发模式 解耦 阅读全文
posted @ 2019-08-12 19:18 花喵 阅读(300) 评论(0) 推荐(0)
Java.基础 -------- 一个Java源文件中可以有很多类，但只能有一个类是public的
摘要： Java程序是从一个public类main函数开始执行的，只能有一个public是为了给类装载器提供方便，一个public只能定义在以它的类名为文件名的文件中。 每个源文件都只有一个public类，因为每个源文件都只能有一个公共接口，用public来表现，该接口可以按照要求包含众多支持包访问权限的类 阅读全文
posted @ 2019-08-12 09:07 花喵 阅读(765) 评论(0) 推荐(1)