langchain(2):记忆
# 预设置
llm = ChatOpenAI(temperature=0.0, model=llm_model)
memory = ConversationBufferMemory()
conversation = ConversationChain(
llm=llm,
memory = memory,
verbose=True
)
正常情况下,大语言模型不具备记忆能力(llm本身是无状态的),而现在我们使用的产品看上去有记忆,是因为借助代码,提供了历史消息作为上下文,而langchain也提供记忆存储能力
langchain提供一个ConversationBufferMemory方法来临时存储对话记忆,本质上就是提供上几轮的对话内容
memory = ConversationBufferMemory()
# 往对话中添加新内容
memory.save_context({"input": "Hi"},
{"output": "What's up"})
因为对话轮数过多会极大增加输入开销,所以有不同的记忆存储方式,通过这些降低开销
# 限制对话来降低输入开销,仅记住最后一轮对话
memory = ConversationBufferWindowMemory(k=1)
# 查看对话历史
memory.load_memory_variables({})
# 限制对话token数量来降低输入开销
# 加入llm参数的原因是,不同的llm使用不同token计数方式
llm = ChatOpenAI(temperature=0.0, model=llm_model)
memory = ConversationTokenBufferMemory(llm=llm, max_token_limit=50)
# 让llm本身为所有历史消息生成摘要,在记忆中存储摘要
memory = ConversationSummaryBufferMemory(llm=llm, max_token_limit=100)
# 最为强大的是,向量数据存储(vector data memory)
浙公网安备 33010602011771号