基于 .NET 的 AI 流式输出实现AgentFramework+SignalR

基于 .NET 的 AI 流式输出实现

技术栈选择

• AgentFramework: 用于构建 AI 代理的框架，支持模块化设计和任务编排。
• SignalR: 实现实时双向通信，支持 WebSocket 等协议，适合流式数据传输。

具体实现源码可参考NetCoreKevin的Kevin.SignalR+kevin.AI.AgentFramework模块

基于.NET构建的企业级SaaSAI智能体应用架构，采用前后端分离设计，具备以下核心特性：
前端技术：

• Vue3前端框架
• IDS4单点登录系统
• 一库多租户解决方案
• 多级缓存机制
• CAP事件集成
• SignalR实时通信
• 领域驱动设计
• AI智能体框架RAGAI检索增强
• RabbitMQ消息队列
• 项目地址：github：https://github.com/junkai-li/NetCoreKevin
  Gitee: https://gitee.com/netkevin-li/NetCoreKevin

实现步骤

服务端配置
安装必要的 NuGet 包：

dotnet add package Microsoft.AspNetCore.SignalR
dotnet add package Microsoft.AI.AgentFramework

创建 SignalR Hub 类：

public class AiStreamingHub : Hub
{
    private readonly IAiAgent _aiAgent;

    public AiStreamingHub(IAiAgent aiAgent)
    {
        _aiAgent = aiAgent;
    }

    public async Task StreamResponse(string input)
    {
        var responseStream = _aiAgent.GetStreamingResponse(input);
        await foreach (var chunk in responseStream)
        {
            await Clients.Caller.SendAsync("ReceiveChunk", chunk);
        }
    }
}

AI 代理实现
创建支持流式输出的 AI 代理：

public class StreamingAiAgent : IAiAgent
{
    public IAsyncEnumerable<string> GetStreamingResponse(string input)
    {
        return ProcessInputAsync(input);
    }

    private async IAsyncEnumerable<string> ProcessInputAsync(string input)
    {
        // 模拟 AI 处理过程
        var words = input.Split(' ');
        foreach (var word in words)
        {
            await Task.Delay(100); // 模拟处理延迟
            yield return word + " ";
        }
    }
}

客户端实现
JavaScript 客户端代码示例：

const connection = new signalR.HubConnectionBuilder()
    .withUrl("/aiStreamingHub")
    .build();

connection.on("ReceiveChunk", (chunk) => {
    document.getElementById("output").innerHTML += chunk;
});

connection.start().then(() => {
    document.getElementById("sendButton").addEventListener("click", () => {
        const input = document.getElementById("input").value;
        connection.invoke("StreamResponse", input);
    });
});

配置和启动

在 Startup.cs 中配置服务：

public void ConfigureServices(IServiceCollection services)
{
    services.AddSignalR();
    services.AddSingleton<IAiAgent, StreamingAiAgent>();
}

public void Configure(IApplicationBuilder app)
{
    app.UseRouting();
    app.UseEndpoints(endpoints =>
    {
        endpoints.MapHub<AiStreamingHub>("/aiStreamingHub");
    });
}

优化建议

性能优化

• 设置适当的 SignalR 传输协议优先级
• 实现 chunk 大小优化策略
• 添加流控机制防止过载

错误处理

• 实现重试机制
• 添加超时控制
• 完善客户端断开处理逻辑

扩展功能

• 添加多客户端会话管理
• 实现对话历史记录
• 支持多模态数据流传输

测试验证

创建测试客户端验证功能：

[Fact]
public async Task TestStreaming()
{
    var agent = new StreamingAiAgent();
    var output = new StringBuilder();
    
    await foreach (var chunk in agent.GetStreamingResponse("test input"))
    {
        output.Append(chunk);
    }
    
    Assert.Equal("test input ", output.ToString());
}

这种实现方式结合了 AgentFramework 的 AI 处理能力和 SignalR 的实时通信特性，可以构建高效的流式 AI 响应系统。