摘要: https://docs.vllm.ai/en/latest/index.html 高吞吐量、高内存效率的 LLMs 推理和服务引擎(快速搭建本地大模型,且openAI API 兼容) vLLM is a fast and easy-to-use library for LLM inference 阅读全文
posted @ 2024-03-05 22:41 iTech 阅读(250) 评论(0) 推荐(0) 编辑
摘要: https://docs.llamaindex.ai/en/stable/module_guides/models/llms.html 可以按参数和评分来选择模型: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard ll 阅读全文
posted @ 2024-03-05 22:36 iTech 阅读(21) 评论(0) 推荐(0) 编辑
摘要: https://ollama.com/ 使用 Llama 2、Mistral、Gemma 和其他大型语言模型启动和运行。 支持windows,Linux,Mac。 支持的开源模型列表: Ollama supports a list of models available on ollama.com/ 阅读全文
posted @ 2024-03-05 22:12 iTech 阅读(413) 评论(0) 推荐(0) 编辑