上一页 1 2 3 4 5 6 7 ··· 17 下一页
摘要: # (1) 请求对象的定制 # (2)获取网页的源码 # (3)下载 # 需求 下载的前十页的图片 # https://sc.chinaz.com/tupian/qinglvtupian.html 1 # https://sc.chinaz.com/tupian/qinglvtupian_page. 阅读全文
posted @ 2024-01-15 22:43 傲世小苦瓜 阅读(10) 评论(0) 推荐(0)
摘要: Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master 单点故障(SPOF)的问题。 如何解决这个单点故障的问题,Spark提供了两种方案: 1.基于文件系统的单点恢复(Single-Node Recove 阅读全文
posted @ 2024-01-14 22:54 傲世小苦瓜 阅读(13) 评论(0) 推荐(0)
摘要: 什么是Spark? Spark是大数据的调度,监控和分配引擎。它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算 ,但对于在磁盘上运行的复杂应用程序,系统也比MapReduce更有效 2、Spark部署模式 2.1、独立 阅读全文
posted @ 2024-01-13 22:47 傲世小苦瓜 阅读(11) 评论(0) 推荐(0)
摘要: Spark解决什么问题? 海量数据的计算,可以进行离线批处理以及实时流计算 Spark有哪些模块? 核心SparkCore、SQL计算(SparkSQL)、流计算(SparkStreaming )、图计算(GraphX)、机器学习(MLlib) Spark特点有哪些? 速度快、使用简单、通用性强、多 阅读全文
posted @ 2024-01-12 21:39 傲世小苦瓜 阅读(9) 评论(0) 推荐(0)
摘要: Spark运行角色Spark中由4类角色组成整个Spark的运行时环境。Master角色,管理整个集群的资源类比与YARN的ResouceManager。Worker角色,管理单个服务器的资源类比于YARN的NodeManager。Driver角色,管理 单个Spark任务在运行的时候的工作类比于Y 阅读全文
posted @ 2024-01-11 22:28 傲世小苦瓜 阅读(24) 评论(0) 推荐(0)
摘要: 今天中午回到家,吃过午饭,下午困得不行,先睡了一觉,醒了之后研究了一下寒假指导的大概内容,要求今天开始发布博客,但是今天太累了,明天在开始吧。 计划明天先开始spark的学习,虽然上学期已经有了一点基础,但是好久也不用了,还是忘了很多,明天开始从头再过一遍,计划下周三之前过完。 阅读全文
posted @ 2024-01-10 21:21 傲世小苦瓜 阅读(9) 评论(0) 推荐(0)
摘要: 第十一章:《对象思考》本章深入探讨了面向对象编程的概念和技术。作者介绍了类的设计、继承、多态等概念,并提供了一些实用的面向对象设计原则,帮助读者更好地理解和应用面向对象编程的思想。 第十二章:《自定义数据类型》在这一章中,作者讨论了如何定义和使用自定义数据类型,包括结构体、枚举、类等。通过合理使用自 阅读全文
posted @ 2023-12-20 22:38 傲世小苦瓜 阅读(17) 评论(0) 推荐(0)
摘要: 1 阅读全文
posted @ 2023-12-19 22:45 傲世小苦瓜 阅读(8) 评论(0) 推荐(0)
摘要: 今天复习了设计模式的类图,定义,对所有的模式进行了大致的了解 阅读全文
posted @ 2023-12-19 22:36 傲世小苦瓜 阅读(12) 评论(0) 推荐(0)
摘要: 今天进行了Java的补考 阅读全文
posted @ 2023-12-18 23:12 傲世小苦瓜 阅读(8) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 ··· 17 下一页