SciTech-BigDataAIML-LangChain 完整指南：使用大语言模型构建强大的应用程序 + Cursor AI Editor(用AI驱动的IDE与代码编辑器) + ComfyUI(视频音频领域的AI Workflow LLM) + Cursor
可以先在github上研究一下:
livetalking，
数字人的直播系统: metahuman-stream
已经有的成功案例：https://www.bilibili.com/video/BV1gEc2e3Ep1/cosyvoice，[wav2lip](https://github.com/Rudrabha/Wav2Lip)
这几个开源框架.
LangChain 完整指南：使用大语言模型构建强大的应用程序
Do More And Be More! ｜ AI工程化平台
LangChain 完整指南：使用大语言模型构建强大的应用程序
LangChain 是一个强大的框架，可以简化构建"高级语言模型"应用程序的过程。
What is LangChain?
LangChain是一个强大的框架，旨在帮助开发人员使用"语言模型"构建"端到端"的应用程序。
它提供一套工具、组件和接口，可简化创建应用程序(由LLM:大语言模型 和 CM:聊天模型 驱动)的过程。LangChain 可以:
- 轻松管理与"LM:语言模型"的交互，
- 将多个组件链接在一起，
- 集成额外的资源，例如 API 和数据库。
LangChain有很多核心概念：
-
Components and Chains
在 LangChain 中:- Component 是模块化的构建块，可以组合起来创建强大的应用程序。
- Chain 是组合在一起以完成特定任务的一系列 Components（或其他 Chain）。
例如，一个 Chain 可能包括一个 Prompt 模板、一个语言模型和一个输出解析器，
它们一起工作以处理用户输入、生成响应并处理输出。
-
Prompt Templates and Values
Prompt Template 负责创建 PromptValue，这是最终传递给"语言模型的内容".- Prompt Template 有助于将 "用户输入和其他动态信息"，转换为 "适合语言模型的格式".
- PromptValues 是"有方法的类"( 注意不是"原值", 而是接收传入的"字母值"作"参数"的"Class"),
这些方法可以转换为"每个模型类型"期望的"确切输入类型(如文本或聊天消息).
-
Output Parsers
Output Parsers 负责将语言模型响应构建为更有用的格式。它们实现了两种主要方法：一种用于提供格式化指令，另一种用于将语言模型的响应解析为结构化格式。这使得在您的应用程序中处理输出数据变得更加容易。 -
Example Selectors
Example Selectors 在您要往 Prompts 中动态包含示例时很有用。
他们接受用户输入, 并返回一个示例列表, 以在提示中使用，使其更强大和特定于上下文。 -
Indexes and Retrievers
LangChain 提供 处理不同类型的Indexes (索引) 和 Retrievers(检索器) 的工具和功能,
如 VD(Vector Database, 矢量数据库) 和 文本拆分器。- Index: 一种组织文档的方式，使语言模型更容易与它们交互。
- Retrievers(检索器) 用于获取有关文档 并将文档 与 语言模型 组合的接口。
-
Chat Message History
LangChain 的交互，主要通过 "聊天界面" 与 "语言模型" 进行。
ChatMessageHistory 类: 负责记住 "所有以前的聊天交互数据"，
然后可以将这些交互数据传递给模型、汇总或以其他方式组合。
这有助于维护上下文并提高模型对对话的理解。 -
Agents and Toolkits
Agents(代理执行器) 是 LangChain 上"推动决策制定"的实体, 并负责使用适当的工具代理用户需求。
Agents可以访问一套工具集，并可以根据用户输入，决定调用哪个工具。
Tookits 是一组工具集合，当它们一起使用时，可以完成特定的任务。
通过理解和利用这些核心概念，您可以利用 LangChain 的强大功能来构建适应性强、高效且能够处理复杂用例的高级语言模型应用程序。
What is a LangChain Agent?
LangChain Agent 是 LangChain框架中"驱动决策制定的实体"。
它可以访问一组工具，并可以根据用户的输入决定调用哪个工具。
代理用户请求，帮助构建复杂的应用程序，这些应用程序需要自适应和特定于上下文的响应。
当存在由"用户输入和其他因素"确定的"未知交互"chain(链)时，它们特别有用。
如何使用 LangChain？
要使用 LangChain，开发人员:
- 首先要导入必要的Components(组件)和Toolkits(工具)，例如 LLMs, chat models, agents, chains, 内存功能。
- 由 LangChain Agents 代理用户需求case，动态组合这些 组件/工具 创建对应App(能理解、处理和响应用户输入)。
- LangChain 为特定用例/场景, 提供多种规格化的组件.
如 个人助理、文档问答、聊天机器人、查询表格数据、与 API 交互、提取、评估和汇总。
What’s a LangChain model?
LangChain model 是(一种抽象，表示) LangChain 框架中使用的"不同类型的模型"。
LangChain 中的 Model1(模型) 主要分为三类：
- LLM(大型语言模型)：这些大模型将"文本字符串"作为输入，并返回"文本字符串"作为输出。
它们是许多"LM App(语言模型应用程序)" 的支柱。 - CM(Chat Model, 聊天模型)：CM(聊天模型) 由 LM(语言模型) 支持，但有更结构化的 API。
他们将 "聊天消息列表" 作为输入, 并返回"聊天消息"。这使得管理"对话历史记录", 和 "维护上下文" 变得容易。 - TEM(Text Embedding Models, 文本嵌入模型)：将 "文本作为输入" 并返回 "表示文本嵌入的浮点列表"。
这些 "嵌入结果" 可用于 文档检索、聚类和相似性比较等任务。
开发人员可以为他们的用例选择合适的 LangChain 模型，并利用 已有的提供的组件 或新建组件 来构建应用。
LangChain 的主要特点
LangChain 旨在为六个主要领域的开发人员提供支持：
- LLM 和Prompts: LangChain 使"Prompts(提示) 的 管理 和 优化" 以及 "为所有 LLM 创建通用界面" 变容易。
此外，它还包括一些用于处理 LLM 的便捷实用程序。 - Chain(链)：是对 LLM 或其他 App(实用程序) 的调用序列。
LangChain 为chain(链)提供标准接口，以集成各种Components 和 Toolkits，为流行应用提供端到端的链。
数据增强生成：LangChain 使 Chain(链) 能与 "外部数据源" 交互以收集"生成步骤的数据".
例如，它可以帮助 "总结长文本" 或使用 "特定数据源" 回答问题。 - Agents：Agents 让 LLM 做出有关行动的决定，执行这些行动，检查结果，并继续前进，直到工作完成。
LangChain 提供了Agents (代理)的标准接口，多种Agents (代理) 可供选择，以及端到端的代理示例。
内存：LangChain 有一个标准的内存接口，有助于维护chain (链) 或 agents (代理) 调用之间的状态。
它还提供了一系列 "内存实现" 和 使用内存的 chain (链) 或 agents (代理) 的示例。 - Evaluation (评估)：不能用"传统指标" 评估"生成模型"。
这是为什么 LangChain 提供 Prompts(提示)和 Chain (链) 来帮助开发者, 使用 LLM 评估他们的模型。
使用示例
LangChain 支持大量用例，例如：
- 针对特定文档的问答：根据给定的文档回答问题，使用这些文档的信息来创建答案。
- 聊天机器人：构建可以利用 LLM 的功能生成文本的聊天机器人。
- Agents：开发可以 规划任务、决定行动、采取这些行动、观察结果并继续执行直到任务完成的代理。
Cursor AI Editor(用AI驱动的IDE与代码编辑器)
https://www.cursor.com/en/community
Engineering Genius
Anysphere is an applied research lab working on automating coding.
Our approach is to build the engineer of the future:
a human-AI programmer that's an order of magnitude more effective than any one programmer.
This hybrid engineer will have effortless control over their codebase and no low-entropy keystrokes.
They will iterate at the speed of their judgment, even in the most complex systems.
Using a combination of AI and human ingenuity, they will out-smart and out-engineer the best pure-AI system.
We are a group of researchers and engineers. We build software and models to invent at the edge of what's useful and what's possible.
Our work has already improved the lives of millions of programmers.
If this excites you, we'd love to hear from you.
— Aman, Sualeh, Michael, Arvid, and the entire Anysphere team
Careers
Research Engineer San , Francisco
Product Engineer , San Francisco
Infrastructure Engineer , San Francisco
Engineer , San Francisco
GTM , San Francisco
Please email your resume and a note on a project you're proud of to hiring@anysphere.inc.
ComfyUI
https://www.comfy.org/
https://github.com/comfyanonymous/ComfyUI
-
打造 "视觉和音频媒体"的下一个前沿。致力于为生成式人工智能构建操作系统。
ComfyUI是免费、开源的，受到艺术家、开发者和梦想家的社区影响。
我们相信赋予每个人对其创意工具的完全控制权。 -
ComfyUI正在为 "视觉AI领域" 打造 "基础性开源软件"。
我们为 "未来的艺术家" 创造工具：这些配备AI的人类，能够实现效率的十倍跃升。
我们让动画师、创意总监和初创公司，无需向 "大型封闭式AI企业" 付费即可使用AI技术。
我们赋能那些天生不擅画笔的人，让每个人都能成为数字时代的画家。 -
ComfyUI开发的是让用户自主解决AI应用难题的软件。
我们提供模块化构建的工具集，使用户 "无需编写代码" 即可 "创建定制化解决方案"。
正因如此，ComfyUI已应用于视频制作、3D资产生成、图像处理、音乐创作、艺术装置设计、API服务支持等多元场景，持续拓展创意表达的边界。 -
ComfyUI在做什么？
我们持续维护并优化以下核心组件：- ComfyUI — 基于节点的AI Workflow Engine(工作流引擎).
- ComfyUI 管理器 — 管理 "自定义节点" 与 "扩展功能的中心枢纽"
- 自定义节点注册表 — 探索与共享 "创新功能" 的 "开放平台"
- 前端、CLI 和自动化工具 — 扩展ComfyUI的运行 场景与方式
- 公共文档和指南 — 面向所有人的学习资源
-
我们是谁
- 我们是ComfyUI的原班创始团队，至今仍在持续维护并拓展其生态。
团队由工程师与艺术家共同组成，专注于ComfyUI及生态工具的开发。
我们的作品已被全球数百万用户用于AI驱动的图像生成、视频制作、3D建模与音频创作。
团队成员来自Stability AI和Google，其中许多人在加入前就已为ComfyUI生态系统做出重要贡献。 - 我们采用绝对扁平的组织架构，这里没有职级之分。
唯一重要的是你的创意质量与执行能力.
我们以高标准相互要求，但也乐在其中.
每个人都致力于打造具有深远意义的事业，这将成为我们毕生引以为傲的成就。 - 我们在旧金山的一间小办公室里面对面工作。
欢迎访问我们的Github和博客了解最新动态。
投资方包括 Pace Capital、Chemistry、Cursor VC 和 Guillermo Rauch。
如果以上内容让你感到兴奋，请通过 hiring@comfy.org 联系我们。
- 我们是ComfyUI的原班创始团队，至今仍在持续维护并拓展其生态。
浙公网安备 33010602011771号