摘要: 参考资料 https://doc.akka.io/libraries/akka-core/current/typed/actors.html#first-example 关于scala语法的注意事项 extends App是个语法糖,等同于直接在伴生对象中编写main 方法对象是通过apply方法创 阅读全文
posted @ 2025-06-05 17:03 zhaojie10 阅读(17) 评论(0) 推荐(0)
摘要: 如何解决应用的扩展性问题 当一个应用需要处理海量并发请求时,传统的开发模式往往显得力不从心,为什么应用需要扩展性? 需求增长: 用户量激增,数据量爆炸式增长。资源限制: 服务器、带宽、存储等资源有限。复杂性增加: 代码逻辑、系统架构日益复杂。成本考量: 资源投入与收益不成正比。 面对这些挑战,我们通 阅读全文
posted @ 2025-06-03 14:26 zhaojie10 阅读(24) 评论(0) 推荐(0)
摘要: source: https://archive.fosdem.org/2020/schedule/event/replacing_iptables_with_ebpf/attachments/slides/3622/export/events/attachments/replacing_iptabl 阅读全文
posted @ 2025-05-30 17:22 zhaojie10 阅读(51) 评论(0) 推荐(0)
摘要: Transformer架构。它不仅仅是一个模型,更是一种范式,彻底改变了我们理解和处理自然语言的方式。 2017年,谷歌大脑团队发表了一篇划时代的论文,题目就叫《Attention is All You Need》。这标题本身就充满了力量,宣告了注意力机制的崛起。这篇论文的核心动机,就是要解决当时序 阅读全文
posted @ 2025-05-30 17:11 zhaojie10 阅读(215) 评论(0) 推荐(0)
摘要: 流式处理就是数据一来,咱们就得赶紧处理,不能攒批再算。这里的实时不是指瞬间完成,而是要在数据产生的那一刻,或者非常接近那个时间点,就做出响应。这种处理方式,我们称之为流式处理。 流式处理的应用场景 流式处理到底能干啥?它应用场景非常广泛。 日志分析。应用每天产生海量日志,边生产边分析,一旦发现异常, 阅读全文
posted @ 2025-05-30 00:29 zhaojie10 阅读(41) 评论(0) 推荐(0)
摘要: https://www.usenix.org/system/files/osdi18-moritz.pdf Ray是一个专为应对新兴AI应用而设计的分布式框架。它旨在解决下一代AI应用带来的新挑战,尤其是在性能和灵活性方面。过去二十年,我们见证了大数据时代的到来,各种分析框架层出不穷。但AI的野心远 阅读全文
posted @ 2025-05-30 00:27 zhaojie10 阅读(116) 评论(0) 推荐(0)
摘要: 本文将探讨几个关键的分布式系统概念,比如故障容错、资源管理以及如何加速你的远程函数和Actor。这些细节对于分布式应用至关重要。 容错机制 故障容错确保即使出现意外——无论是用户代码出错、框架本身崩溃,还是运行机器宕机——系统也能尽可能地继续工作。Ray为不同场景设计了不同的容错机制。核心在于它的三 阅读全文
posted @ 2025-05-30 00:25 zhaojie10 阅读(65) 评论(0) 推荐(0)
摘要: 为什么我们需要 Ray?很简单,因为我们的数据和模型越来越大,单机跑不动了!想想看,十年前可能一台笔记本就能搞定很多机器学习任务,现在呢?大模型、海量数据,动辄几百上千个节点。传统的分布式系统,像搭积木一样复杂,运维起来头大。Ray 的目标就是打破这个壁垒,让开发者能更专注于写代码,而不是跟服务器、 阅读全文
posted @ 2025-05-29 00:31 zhaojie10 阅读(155) 评论(0) 推荐(0)
摘要: 在分布式系统中,服务间的依赖关系就像一张错综复杂的网络,任何一个节点的抖动都可能引发连锁反应。这也是为什么我们需要强调弹性,因为在分布式系统中,服务之间通过网络进行通信,这本身就引入了无数个潜在的失败点。我们必须让服务从一开始就具备“容错”的意识,能够主动感知并尝试恢复,而不是被动等待。 例如A服务 阅读全文
posted @ 2025-05-11 16:59 zhaojie10 阅读(25) 评论(0) 推荐(0)
摘要: https://github.com/fortio/fortio Fortio,这个工具最初是为 Istio 服务网格设计的负载测试利器,后来在 2018 年独立出来,发展至今。 Fortio 的价值体现在哪里? 精准,例如Fortio 让你设定一个目标 QPS,比如每秒 1000 个请求,它就稳稳 阅读全文
posted @ 2025-05-10 01:38 zhaojie10 阅读(26) 评论(0) 推荐(0)