04 2023 档案

《asyncio 系列》4. 如何并发运行多个任务（asyncio.gather、asyncio.as_completed、asyncio.wait）
摘要：楔子 在上一篇文章中，我们了解了套接字的内部工作原理，并构建了一个基本的回显服务器。现在我们将学到的知识应用到并发的、非阻塞的 Web 请求中，基于 asyncio 可以并发发送大量的 Web 请求，缩短应用程序的运行时间。当我们必须向一组 REST API 发出多个请求时，这很有用，比如在微服务架 阅读全文
posted @ 2023-04-30 17:25 古明地盆 阅读(12095) 评论(4) 推荐(7)
《asyncio 系列》3. 详解 Socket（阻塞、非阻塞），以及和 asyncio 的搭配
摘要：楔子 在前面两篇文章中，我们介绍了协程、任务和事件循环，研究了如何同时运行长耗时的操作，并探索了一些可以优化此操作的 asyncio API。然而，到目前为止，我们只是用 asyncio.sleep 函数模拟了长时间的操作。由于我们想要构建的不仅是演示应用程序，因此我们将使用一些真实世界的阻塞操作来 阅读全文
posted @ 2023-04-29 19:15 古明地盆 阅读(4165) 评论(2) 推荐(6)
《asyncio 系列》2. 详解 asyncio 的协程、任务、future，以及事件循环
摘要：### **楔子** **[上一篇文章](https://www.cnblogs.com/traditional/p/17357782.html)我们深入讨论了并发性，探讨了如何同时使用进程和线程实现并发，还探索了如何利用非阻塞 IO 和事件循环来实现只使用一个线程的并发性。本篇文章将介绍在 asy 阅读全文
posted @ 2023-04-29 14:24 古明地盆 阅读(7238) 评论(0) 推荐(8)
《asyncio 系列》1. 什么是 asyncio？如何基于单线程实现并发？事件循环又是怎么工作的？
摘要：### 楔子 **许多应用程序，尤其在当今的 Web 应用程序领域，严重依赖 IO 操作。这些类型的操作包括从 Intermet 下载网页的内容、通过网络与一组微服务进行通信，或者针对 MySOL、Postgres 等数据库同时运行多个查询。Web 请求或与微服务的通信可能需要数百毫秒，如果网络很慢 阅读全文
posted @ 2023-04-27 00:12 古明地盆 阅读(6218) 评论(0) 推荐(11)
解密 TCP 粘包是怎么一回事？
摘要：注：本文为转载文章。 原文链接：https://mp.weixin.qq.com/s?__biz=Mzg5NDY2MDk4Mw==&mid=2247486377&idx=1&sn=bdc4b8b71559193b29aa0f54b95973db&scene=19#wechat_redirect 出自 阅读全文
posted @ 2023-04-19 17:44 古明地盆 阅读(192) 评论(0) 推荐(1)
解密 parquet 文件，以及如何用 Python 去处理它
摘要：楔子 随着大数据时代的发展，每天都要产生大量的数据，而存储这些数据不仅需要更多的机器，怎么存也是一个问题。因为数据不是存起来就完事了，我们还要对数据进行分析、统计，所以一个合理的数据格式也是非常重要的。 而随着数据种类的不同，我们也会选择不同的格式去存储。 数据种类 数据一般可以分为三种：非结构化数 阅读全文
posted @ 2023-04-14 16:48 古明地盆 阅读(7481) 评论(0) 推荐(1)
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
摘要：楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 阅读全文
posted @ 2023-04-04 00:57 古明地盆 阅读(1971) 评论(2) 推荐(2)