会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
xiao-hong111
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
···
17
下一页
2024年1月15日
寒假生活
摘要: # (1) 请求对象的定制 # (2)获取网页的源码 # (3)下载 # 需求 下载的前十页的图片 # https://sc.chinaz.com/tupian/qinglvtupian.html 1 # https://sc.chinaz.com/tupian/qinglvtupian_page.
阅读全文
posted @ 2024-01-15 22:43 傲世小苦瓜
阅读(10)
评论(0)
推荐(0)
2024年1月14日
寒假生活(StandAlone HA 运行原理)
摘要: Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master 单点故障(SPOF)的问题。 如何解决这个单点故障的问题,Spark提供了两种方案: 1.基于文件系统的单点恢复(Single-Node Recove
阅读全文
posted @ 2024-01-14 22:54 傲世小苦瓜
阅读(13)
评论(0)
推荐(0)
2024年1月13日
寒假生活
摘要: 什么是Spark? Spark是大数据的调度,监控和分配引擎。它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算 ,但对于在磁盘上运行的复杂应用程序,系统也比MapReduce更有效 2、Spark部署模式 2.1、独立
阅读全文
posted @ 2024-01-13 22:47 傲世小苦瓜
阅读(11)
评论(0)
推荐(0)
2024年1月12日
寒假生活(spark基础总结)
摘要: Spark解决什么问题? 海量数据的计算,可以进行离线批处理以及实时流计算 Spark有哪些模块? 核心SparkCore、SQL计算(SparkSQL)、流计算(SparkStreaming )、图计算(GraphX)、机器学习(MLlib) Spark特点有哪些? 速度快、使用简单、通用性强、多
阅读全文
posted @ 2024-01-12 21:39 傲世小苦瓜
阅读(9)
评论(0)
推荐(0)
2024年1月11日
寒假生活(spark的运行角色)
摘要: Spark运行角色Spark中由4类角色组成整个Spark的运行时环境。Master角色,管理整个集群的资源类比与YARN的ResouceManager。Worker角色,管理单个服务器的资源类比于YARN的NodeManager。Driver角色,管理 单个Spark任务在运行的时候的工作类比于Y
阅读全文
posted @ 2024-01-11 22:28 傲世小苦瓜
阅读(24)
评论(0)
推荐(0)
2024年1月10日
寒假生活
摘要: 今天中午回到家,吃过午饭,下午困得不行,先睡了一觉,醒了之后研究了一下寒假指导的大概内容,要求今天开始发布博客,但是今天太累了,明天在开始吧。 计划明天先开始spark的学习,虽然上学期已经有了一点基础,但是好久也不用了,还是忘了很多,明天开始从头再过一遍,计划下周三之前过完。
阅读全文
posted @ 2024-01-10 21:21 傲世小苦瓜
阅读(9)
评论(0)
推荐(0)
2023年12月20日
代码大全2读书总结03
摘要: 第十一章:《对象思考》本章深入探讨了面向对象编程的概念和技术。作者介绍了类的设计、继承、多态等概念,并提供了一些实用的面向对象设计原则,帮助读者更好地理解和应用面向对象编程的思想。 第十二章:《自定义数据类型》在这一章中,作者讨论了如何定义和使用自定义数据类型,包括结构体、枚举、类等。通过合理使用自
阅读全文
posted @ 2023-12-20 22:38 傲世小苦瓜
阅读(17)
评论(0)
推荐(0)
2023年12月19日
每日记录
摘要: 1
阅读全文
posted @ 2023-12-19 22:45 傲世小苦瓜
阅读(8)
评论(0)
推荐(0)
每日记录
摘要: 今天复习了设计模式的类图,定义,对所有的模式进行了大致的了解
阅读全文
posted @ 2023-12-19 22:36 傲世小苦瓜
阅读(12)
评论(0)
推荐(0)
2023年12月18日
每日记录
摘要: 今天进行了Java的补考
阅读全文
posted @ 2023-12-18 23:12 傲世小苦瓜
阅读(8)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
···
17
下一页
公告