随笔分类 -  大模型

全网最全国内Agent平台深度测评:扣子、Dify、FastGPT,谁是你的Agent开发首选?
摘要:上一篇文章我们按照时间先后顺序,梳理了国内的9个Agent开发平台,分别是Dify、FastGPT、文心智能体平台、千帆AppBuilder、智谱智能体中心、天工SkyAgents、扣子、讯飞星火智能体平台、腾讯元器。 面对繁多的Agent平台,到底该如何选择呢?那个最好用? 本篇就系统地做一个Ag 阅读全文

posted @ 2025-02-20 19:19 ExplorerMan 阅读(9113) 评论(1) 推荐(1)

RAG框架,都在这了!
摘要:RAG 很多人都听说过,或者实践过,目前最直接的应用就是构建智能问答系统。 什么是 RAG? RAG 是 Retrieval Augmented Generation 的简写,翻译过来就是检索增强生成。 从名字就可以拆分出 RAG 的三大部分,检索、增强、生成,表面意思就是: 1、去知识库检索相关的 阅读全文

posted @ 2025-02-20 17:27 ExplorerMan 阅读(3287) 评论(0) 推荐(2)

FastRAG半结构化RAG实现思路及OpenAI O1-long COT蒸馏路线思考
摘要:本文看两个问题,一个是最近模仿openaiAI O1现有路线-long COT蒸馏路线,有些有趣的点。 另一个是还是回归到RAG上,最近同名的RAG框架很多,例如fastRAG(https://github.com/IntelLabs/fastRAG.git,朴素rag的一个模块化)和FastRAG 阅读全文

posted @ 2025-02-20 17:18 ExplorerMan 阅读(70) 评论(0) 推荐(0)

技术笔记-LLM的格式化输出和工具调用
摘要:调用外部工具是Agent区别于LLM的最重要区别之一。为了调用外部工具,需要做的主要有两件事: 针对用户输入的要求,从工具池中选择合适的工具,当然也可以选择不调用工具。这里考察的是LLM的reasoning的能力,一般来说,越大的模型效果越好。 对于选择的工具,要传入正确的参数(包括格式和内容)。这 阅读全文

posted @ 2025-02-20 17:01 ExplorerMan 阅读(251) 评论(0) 推荐(0)

RAG七十二式:2024年度RAG清单
摘要:RAG七十二式:2024年度RAG清单 转:https://mp.weixin.qq.com/s/Sy1dSx5RUtD6rjMY7_efkw ▍作者:范志东,蚂蚁图计算开源负责人、图计算布道师 回顾2024,大模型日新月异,智能体百家争鸣。作为AI应用的重要组成部分,RAG也是“群雄逐鹿,诸侯并起 阅读全文

posted @ 2025-02-20 16:32 ExplorerMan 阅读(153) 评论(0) 推荐(0)

DeepSeek最强专业拆解来了,清交复教授超硬核解读
摘要:https://mp.weixin.qq.com/s/LsMOIgQinPZBnsga0imcvA DeepSeek的写作能力为何飞跃?PTX是否真正做到了绕开CUDA的垄断?编辑 | ZeR0智东西2月3日报道,周日晚间,五位高校教授夜话DeepSeek,从模型方法、框架、系统、基础设施等角度,阐 阅读全文

posted @ 2025-02-20 15:25 ExplorerMan 阅读(92) 评论(0) 推荐(0)

万字解析DeepSeek MOE架构——从Switch Transformers到DeepSeek v1/v2/v3
摘要:前文对基于DeepSeek v3 Base模型训练的deepseek-R1技术报告进行了解读,如有需求可阅读: 浮生梦晓:DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning——技术报告详 阅读全文

posted @ 2025-02-20 11:44 ExplorerMan 阅读(510) 评论(0) 推荐(0)

大语言模型应用开发框架 —— Eino 正式开源!
摘要:经过字节跳动内部半年多的使用和迭代,基于 Golang 的大模型应用综合开发框架 —— Eino,已在 CloudWeGo 正式开源啦! Eino 基于明确的“组件”定义,提供强大的流程“编排”,覆盖开发全流程,旨在帮助开发者以最快的速度实现最有深度的大模型应用。 你是否曾有这种感受:想要为自己的应 阅读全文

posted @ 2025-02-19 20:39 ExplorerMan 阅读(356) 评论(0) 推荐(0)

VisRAG:基于视觉的检索增强生成方法
摘要:研究背景 研究问题:这篇文章要解决的问题是如何在多模态文档中利用视觉信息来增强大型语言模型(LLMs)的生成能力。传统的检索增强生成(RAG)系统仅基于文本,无法利用布局和图像等视觉信息,这在现实世界的多模态文档中非常重要。 研究难点:该问题的研究难点包括:如何在多模态文档中直接嵌入图像并使用视觉语 阅读全文

posted @ 2025-02-19 19:45 ExplorerMan 阅读(162) 评论(0) 推荐(0)

梳理2024年的RAG
摘要:在已经过去的 2024 年,RAG 的发展可以称得上是风起云涌,我们回顾全年,从多个角度对全年的发展进行总结。首先用下图镇楼: 对于 2024 年的 RAG 来说,有一系列标志性事件: 关于 RAG 的争论——RAG 已死,RAG 永存 ! 2024 年在年初被称为“RAG 发展元年”,虽然这并非共 阅读全文

posted @ 2025-02-19 19:37 ExplorerMan 阅读(282) 评论(0) 推荐(1)

PromptWizard:微软开源 AI 提示词自动化优化框架
摘要:‌PromptWizard‌是一个由微软研究院开发的自动化提示词优化框架,旨在改进大型语言模型(LLMs)在特定任务中的表现。该框架通过自我演变和自我适应机制,利用反馈驱动的批评和合成过程,迭代优化提示指令和上下文示例,从而提高模型的准确性和效率‌12。 主要功能和技术原理 PromptWizard 阅读全文

posted @ 2025-02-18 11:40 ExplorerMan 阅读(410) 评论(0) 推荐(0)

Flow-DPO通过在线多Agent学习提升LLM的数学推理能力
摘要:‌Flow-DPO‌是一种通过在线多智能体学习来提升LLM(大型语言模型)数学推理能力的新方法。Flow-DPO结合了在线学习流(Flow)和直接偏好优化(DPO),通过两个独立的语言模型互相协作,纠正对方的错误,从而生成更加准确和详细的推理轨迹‌12。 工作原理 Flow-DPO的核心在于构建两个 阅读全文

posted @ 2025-02-18 11:27 ExplorerMan 阅读(44) 评论(0) 推荐(0)

2024年大模型 对比
摘要:自OpenAI在2022年12月发布GPT-3.5模型驱动的ChatGPT以来,生成式AI就如火如荼地展开了一场声势浩大的「军备竞赛」。 而仅仅不到两年,多个实验室就都已经赶上了OpenAI的GPT-4,甚至出现了第一批超越GPT-4o智能水平的模型。例如:Claude 3.5 Sonnet,Gem 阅读全文

posted @ 2025-02-17 20:54 ExplorerMan 阅读(58) 评论(0) 推荐(0)

谷歌新一代大模型Gemini 2.0
摘要:继量子芯片之后,谷歌又来抢“OpenAI双12直播”的流量了! 就在刚刚,谷歌新一代大模型Gemini 2.0突然登场,再次由谷歌CEO皮猜亲自官宣。 新一代模型专为AI Agent而打造,谷歌表示目前已经将2.0版本提供给了一些开发者内测,正在迅速将其集成在Gemini和搜索等产品线中。 好消息是 阅读全文

posted @ 2025-02-17 20:47 ExplorerMan 阅读(113) 评论(0) 推荐(0)

大模型在陌陌的推理与应用
摘要:导读 本文将分享陌陌如何利用大模型技术革新其业务与研发流程。 主要内容包括以下几个部分: 1. AI 应用范式更新 2. 大模型高效推理 3. 大模型应用平台 4. 未来展望 5. 总结 6. Q&A 分享嘉宾|陈玉祥 挚文集团 算法工程专家 编辑整理|王文海 内容校对|李瑶 出品社区|DataFu 阅读全文

posted @ 2025-02-17 20:19 ExplorerMan 阅读(70) 评论(0) 推荐(0)

2024年大模型推理优化论文精选
摘要:OSDI (USENIX Symposium on Operating Systems Design and Implementation) 和SOSP (ACM Symposium on Operating Systems Principles) 是计算机操作系统领域最重要的两大国际会议,在国际上 阅读全文

posted @ 2025-02-17 20:17 ExplorerMan 阅读(269) 评论(0) 推荐(0)

DeepSeek-R 与 DeepSeek-V 区别
摘要:DeepSeek-R1和DeepSeek-V3是深度求索推出的两款大模型,它们在设计目标、架构、训练方法、性能表现和应用场景等方面存在显著差异,以下是具体对比: 1. 模型定位与核心能力 DeepSeek-V3:通用型自然语言处理模型,专注于多语言生成、知识问答、内容创作等任务,优势在于高效的多模态 阅读全文

posted @ 2025-02-14 16:48 ExplorerMan 阅读(1667) 评论(0) 推荐(0)

深度学习中常用的开源数据集
摘要:Kaggle(https://www.kaggle.com/datasets):Kaggle 是一个著名的数据科学竞赛平台,也提供了大量的开放数据集供用户下载和使用。UCI Machine Learning Repository(https://archive.ics.uci.edu/dataset 阅读全文

posted @ 2025-02-13 14:39 ExplorerMan 阅读(765) 评论(0) 推荐(0)

LLM时代,数据为王,19个开源数据集下载网站汇总
摘要:大模型时代,数据为王,在哪里寻找开源数据集,是一个比较头疼的问题。经过调研整理,下面列出了目前可以寻找开源大模型数据集的网站清单。 1、HuggingFace开源数据集 链接:https://huggingface.co/datasets 镜像:https://hf-mirror.com/datas 阅读全文

posted @ 2025-02-13 14:36 ExplorerMan 阅读(1624) 评论(0) 推荐(0)

模型训练学习率设置
摘要:在大语言模型训练中,学习率的调整策略对模型的收敛速度和最终性能至关重要。以下是一些常用的学习率调整方法和建议: 1. 固定学习率(Constant Learning Rate) 固定学习率是最简单的方法,学习率在整个训练过程中保持不变。这种方法适用于简单的任务或小规模模型,但在大规模模型训练中可能不 阅读全文

posted @ 2025-02-13 11:45 ExplorerMan 阅读(294) 评论(0) 推荐(0)

导航