随笔分类 -  LlamaIndex实战

摘要：一.使用 Flask 将模型封装为 REST 接口 主要是将 complete()和 stream_complete()方法封装为 REST 接口，如下所示： from flask import Flask, request, jsonifyfrom transformers import Auto 阅读全文

摘要：LlamaIndex 中接口基本上调用的是 OpenAI，如果想想调用自定义模型可以吗？答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。 一.CustomLLM(LLM) 源码 只要子类必须实现 __init__、_complete、_str 阅读全文