kestra_调度系统

阶段和层次

1.跑脚本/跑命令
--嵌入式 DuckDB DuckDB 是单进程、单写入者的数据库
2.跑服务-to small team
阶段一： 单进程多客户端服务器
阶段二： 多 DuckDB 进程，统一数据层-标准湖仓一体
3.跑平台-to team
功能
性能: 负载均衡
跑服务意味着运维：
可观测: 监控、日志
可靠性: 健康检查 容灾、容量规划 自动重启
安全性: 权限 密钥管理 访问控制
生产级工作流系统:错误处理、重试机制和监控告警功能
认证机制 基于角色的访问控制（RBAC）

Kestra提供了强大的执行控制机制：

YAML工作流定义语法,通过插件机制支持多种编程语言
namespace
flows ： id namespace description
tasks
inputs outputs variables
errors finally triggers retry
Tasks
是流程中的原子操作
plugin :
io.kestra.plugin.core.log.Log
io.kestra.plugin.core.trigger.Schedule
io.kestra.plugin.core.condition.ExecutionCondition
io.kestra.plugin.core.flow.Switch
io.kestra.plugin.core.flow.Parallel
触发
Schedule Trigger
Webhook Trigger
Flow Trigger Polling Trigger Realtime Trigger

调用

Kestra 无法通过预定义函数运行 Python 代码。
需要将 Python 代码直接放入 YAML 文件中
简单的脚本在 YAML 中直接编写简单的 Python 调用。
对于复杂的脚本，你可以结合使用 Git 插件和 Docker 镜像

调度系统会被agent替代吗