使用 C# 与 RAG 技术构建智能知识库实践指南
什么是 RAG？
RAG（Retrieval-Augmented Generation）是一种结合检索与生成的混合架构，通过从知识库中检索相关上下文，辅助生成模型产出更准确、更专业的回答。这种技术特别适合需要结合领域知识的问答场景。
技术栈说明
本实现基于以下技术：
- .NET 7：核心开发框架
- Microsoft.KernelMemory：微软开源的语义内存管理库
- OpenAI API：GPT-4 文本生成与 Embedding 模型
- 本地向量存储：使用简单的磁盘存储方案
实现原理
RAG 技术工作流
本系统的核心实现基于 检索-生成双阶段架构，具体流程如下：
-
文档预处理流水线
graph TD A[原始文档] --> B(文本分块) B --> C(嵌入生成) C --> D[向量存储]- 分块策略：滑动窗口算法（128 tokens/块，20% 重叠）
- 嵌入模型：
text-embedding-3-small生成 1536 维向量 - 向量存储：余弦相似度检索，Top-K=3
-
问答生成阶段
graph LR E[用户提问] --> F(语义检索) F --> G{是否匹配?} G -->|是| H[上下文增强提示] G -->|否| I[空结果标记] H --> J[GPT-4 生成] -
动态上下文拼接
// 代码实现中的检索配置 new SearchClientConfig { MaxAskPromptSize = 2048, // 控制上下文总长度 AnswerTokens = 2048 // 限制生成响应长度 }
架构设计
系统分层架构
graph TB
subgraph 基础设施层
A[本地文件存储] --> B[SimpleFileStorage]
C[向量数据库] --> D[SimpleVectorDb]
end
subgraph 服务层
E[OpenAI 服务代理] --> F[HTTP 请求重定向]
G[记忆服务] --> H[KMService]
end
subgraph 应用层
I[文档导入] --> J[ImportDocumentAsync]
K[知识检索] --> L[AskAsync]
end
B --> G
D --> G
F --> G
G --> I
G --> K
关键组件说明
-
存储抽象层
- 文件存储：使用
SimpleFileStorage实现原始文档版本管理 - 向量存储：基于磁盘的轻量级向量数据库，支持扩展 Redis 等方案
- 元数据存储：文档 ID、更新时间、URL 等信息的结构化存储
- 文件存储：使用
-
语义处理引擎
// 双模型协同配置 .WithOpenAITextGeneration(...) // 生成模型 .WithOpenAITextEmbedding(...) // 嵌入模型- 异步流水线处理：文档解析与向量化并行执行
- 智能缓存：重复文档哈希值匹配机制
-
代理中间件
// OpenAIHttpClientHandler 核心逻辑 protected override async Task SendAsync(...) { // 动态修改 API 终结点 request.RequestUri = new Uri($"{proxy}/v1/chat/completions"); // 非生产环境记录完整请求日志 if(!IsProduction) Log(requestBody); }- 支持私有化模型部署
- 请求/响应双向监控
核心实现解析
1. 内存服务初始化（KMService.cs）
public class KMService
{
public MemoryServerless CreateMemoryByApp()
{
var searchConfig = new SearchClientConfig
{
MaxAskPromptSize = 2048, // 最大提示长度
MaxMatchesCount = 3, // 最大匹配数量
AnswerTokens = 2048, // 回答长度限制
EmptyAnswer = "KMS_SEARCH_NULL"
};
var memory = new KernelMemoryBuilder()
.WithSearchClientConfig(searchConfig)
.WithOpenAITextGeneration(new OpenAIConfig
{
APIKey = "your-api-key",
TextModel = "gpt-4"
})
.WithOpenAITextEmbedding(new OpenAIConfig
{
APIKey = "your-api-key",
EmbeddingModel = "text-embedding-3-small"
})
.WithSimpleFileStorage() // 本地文件存储
.WithSimpleVectorDb(); // 本地向量存储
return memory.Build<MemoryServerless>();
}
}
关键配置说明：
- 支持自定义检索策略
- 可扩展的存储方案（支持切换为Redis/PostgreSQL）
- 双模型配置：生成模型 + 嵌入模型
2. 文档处理流程（Program.cs）
// 文档导入
var doc = new Document("doc001")
.AddFile("溺水防范指南.pdf")
.AddTag("category", "safety");
await memory.ImportDocumentAsync(doc, index: "safety-knowledge");
// 知识检索
var question = new Question("如何预防儿童溺水？");
var answer = await memory.AskAsync(question);
处理流程：
- 文档解析与分块
- 生成文本嵌入
- 向量存储索引
- 相似性检索
- 上下文增强生成
3. 定制化 HTTP 处理（OpenAIHttpClientHandlerUtil.cs）
实现代理转发和请求日志：
protected override async Task<HttpResponseMessage> SendAsync(
HttpRequestMessage request,
CancellationToken cancellationToken)
{
// 动态修改请求路径
if(request.RequestUri.Path == "/v1/chat/completions")
{
request.RequestUri = new Uri($"{_proxyUrl}/v1/chat/completions");
}
// 记录调试日志
if(!IsProduction){
LogRequest(request);
}
return await base.SendAsync(request, cancellationToken);
}
架构优势
-
模块化设计
- 存储层与业务逻辑解耦
- 支持快速切换向量数据库
- 配置驱动的基础设施
-
效率优化
- 本地缓存机制减少IO开销
- 异步流水线处理文档
- 智能分块策略（MaxToken控制）
-
可观测性
- 内置请求日志追踪
- 文档版本管理
- 检索结果可解释性
最佳实践建议
- 扩展方案
- 添加混合检索策略（关键词+向量）
- 实现缓存层（Redis/MemoryCache）
- 接入监控系统（Prometheus + Grafana）
应用场景示例
- 企业知识库问答系统
- 技术文档智能助手
- 法律条款检索分析
- 医疗知识辅助决策
通过结合 C# 的强类型特性与 RAG 的灵活检索能力，我们能够构建出既可靠又智能的知识处理系统。微软 KernelMemory 库的深度集成，使得实现复杂的语义处理流程变得异常简单。未来可探索与 ML.NET 的整合，打造完全基于 .NET 生态的智能解决方案。
本单元代码地址如下：https://github.com/zt199510/deepseeksk/tree/main/Test2
浙公网安备 33010602011771号