主要是 多线程, pgsql、以及上游。 中高度关注以下环境变量SERVER_WORKER_AMOUNT、SQLALCHEMY_POOL_SIZE、SQLALCHEMY_MAX_OVERFLOW、POSTGRES_MAX_CONNECTIONS 1、多线程,默认工作线程是单,而且只有1 要修改
2 、pgsql 数据库一直都是所有程序卡的原因 连接数、连接池、以及最大连接数
3、大模型的算力,涉及到上游供应商的算力以及http返回io
参考 https://www.bilibili.com/video/BV1jdQPYkETu/?spm_id_from=333.40164.top_right_bar_window_history.content.click&vd_source=32d2da3bd7afb8b99a2b7c01f1b9fb81 简单的压力测试。
博客园 © 2004-2025 浙公网安备 33010602011771号 浙ICP备2021040463号-3