ExplorerMan

摘要： 大约一年前，2023 年 10 月，我们推出了全球首个支持 8K 上下文长度的开源 Embedding 模型 —— jina-embeddings-v2-base-en。自此，长文本在 Embedding 模型中的应用引发了广泛讨论和争议。 信息压缩问题：将数千字的长文本编码为单一 Embeddin 阅读全文

摘要： 背景在人工智能快速发展的今天，大语言模型已经成为了人工智能的研究热点。其中，通义千问（Qwen）大模型系列凭借其强大的语言理解和生成能力，吸引了开源社区越来越多的关注。随着这些模型的应用场景不断扩大，如何提高它们的运算效率，降低部署成本，成为了一项重要的课题。知识蒸馏作为一种有效的模型压缩技术，通过 阅读全文

摘要： 大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。从适用于个人开发的轻量级本地部署工具，到面向企业级高性能生产环境的推理 阅读全文

摘要： 背景介绍 最近抽空参与 CCF 的 RAG 比赛，系统性对 RAG 检索中多种多样的检索优化方案进行了测试和对比，也发现了不少之前没有注意到的优化细节。从目前的实践来看，比赛确实是一个绝佳策略测试场所，很公平地对不同的优化方案进行了客观比较。实践中不时会发现直观感觉很有效的策略不生效，有些看起来平平 阅读全文

摘要： 转：https://mp.weixin.qq.com/s/0jB157hXY2AwIcji0jywBQ 编者按：本文通过作者的实践对比发现，框架的选择应基于项目具体需求和团队特点，而不是简单追求某个特定框架。不同框架各有优势： 无框架方案实施最为简单直接，代码结构清晰，适合理解智能体原理，但随着项目 阅读全文