langchain(2):记忆

# 预设置
llm = ChatOpenAI(temperature=0.0, model=llm_model)
memory = ConversationBufferMemory()
conversation = ConversationChain(
    llm=llm, 
    memory = memory,
    verbose=True
)

正常情况下,大语言模型不具备记忆能力(llm本身是无状态的),而现在我们使用的产品看上去有记忆,是因为借助代码,提供了历史消息作为上下文,而langchain也提供记忆存储能力

langchain提供一个ConversationBufferMemory方法来临时存储对话记忆,本质上就是提供上几轮的对话内容

memory = ConversationBufferMemory()
# 往对话中添加新内容
memory.save_context({"input": "Hi"}, 
                    {"output": "What's up"})

因为对话轮数过多会极大增加输入开销,所以有不同的记忆存储方式,通过这些降低开销

# 限制对话来降低输入开销,仅记住最后一轮对话
memory = ConversationBufferWindowMemory(k=1) 
# 查看对话历史
memory.load_memory_variables({})
# 限制对话token数量来降低输入开销
# 加入llm参数的原因是,不同的llm使用不同token计数方式
llm = ChatOpenAI(temperature=0.0, model=llm_model)
memory = ConversationTokenBufferMemory(llm=llm, max_token_limit=50)
# 让llm本身为所有历史消息生成摘要,在记忆中存储摘要
memory = ConversationSummaryBufferMemory(llm=llm, max_token_limit=100)
# 最为强大的是,向量数据存储(vector data memory)

posted on 2025-02-21 15:57  CharXL  阅读(87)  评论(0)    收藏  举报