[AI] 通用智能 - Agent

以下是2024年下半年,那时的想法。现在回头看,也有点不好意思。但依然保留下来,能真实的记录下 当前技术进步的飞速。

 

此时,应该是 o1-preview 刚出来时,但 推力模型在内部已经确认可以工程化的事情,也就同时意味着 Agent时代 加速进入的节奏。

但此时,我貌似还没有意识到!

 

 

数字人


 

LivePortraint的出现,在工程的设计与实现上颠覆了许多。

[GenerativeAI] Avatar solutions

[Avatar] Avatar by ImgGen

[Avatar] Talking Face Dataset and Solutions

Animate Anyone

Face2Faceρ : Real-Time High-Resolution One-Shot Face Reenactment

[facefusion] Next generation face swapper and enhancer.

    • FaceFusion 源代码不是很多但实用,可以学习

 

现在的离线数字人视频已经完全被新技术干掉,效果很棒!

当时的预测正确,实时数字人还是一块大模型时代下的幸存之地!

 

 

 

练习实践


 

[GenerativeAI] Webui Practice

LLM Fine Tune 

LLM Deployment

[MLLM] MiniGPT-4

 
一些当时可能还想了解下的技能,但现在看来,意义不大,也没有条件去实践。
 
 
 

大模型时代


 

[GenerativeAI] Contrasive Learning and CLIP

[Multimodal] Since ViLT

[GenerativeAI] How to train both?

[GenerativeAI] GAN to Diffusion

[GenerativeAI] MAE and SAM

[diffusion] Stable Diffusion

[diffusion] Video Diffusion

 
这里的总结还算不错,其中主要来源于Li Mu的教学视频系列,很棒,但截止与 GPT 4.(Mar 31, 2023)
 
 
 

Agentic AI


 

Chapter 1 - 认知已落伍

(以下是过去的玩味笔记,可见上次的认知还停留在2024上半年)

但此时,是随性谈话,没有目标。场景更适合“模拟世界”,例如用户调查等等。

此事发生在 20 Mar 2024。 

o1 推理模型的产品化还未走上舞台。

 

Chapter 2 - 纵览与初识

这是一篇 近期的 “综合理解”:[agent] Master AI Agent  # 回顾近代AI的发展 Since 2022.

然后,重点介绍了近期 Agent Engineering 的过程:[agent] Agent Engineering 2024-2025  # 然后重点关注了近两年的变化

以下可能有广泛的指导意义:

  1. 状态一致性(state consistency)

  2. 幂等性(idempotency)

  3. 副作用控制(side effect control)

  4. 失败恢复(recovery strategy)

  5. 可观测性(observability)

 

Chapter 3 - 找寻需求

Promp Engineering: [agent] From Prompt Learning to SIPDO: A Shift Toward Closed-Loop Self-Evolution  # 既然 上下文?Prompt?管理很重要,此文的自动化值得深思

 

Chapter 4 - 系统学习

学术角度:[agent] Learn Agent on UC Berkeley CS294-196  # 近三个学期的 Agent 课程一致在与时俱进的更新
 

Chapter 5 - 工程进化

通过 [agent] MCP and SKILL,从工程上明白了来龙去脉。
  1. Prompt engineering(2020)
  2. Context engineering(2023)
  3. Tool calling(2023.6) ----> OpenAI 正式发布 Function Calling
  4. MCP(2024.11)
  5. Skills(2024–2025)
  6. Multi-agent(2025)----> Deep Research 成熟。
  7. Harness engineering(2025–2026)
  8. Hermes / OpenClaw(2025–2026 实现层) 

可见,Agent 的发展 实则是与大模型的进一步增强,以及推理模型的出现等等一同进化的!

Case Study

很多 Deep Research 系统的底层,确实就是 Web Agent。Deep Research ≈ 被“研究型 Harness”强化过的 Web Agent。

2024-12-11 Google 正式发布 Gemini Deep Research:会自己制定多步研究计划、搜索 Web、综合成报告。

2025-02-03 OpenAI 发布 ChatGPT Deep Research,明确把它定义成能自主进行多步骤网络研究的 Agent。

 

Chapter 6 - Coding Agent

先了解编程。这代表了唯一成功的案例,以及Harness探索的方向。

 

Chapter 7 - General Agent

>>> 大趋势来了 <<<

Harness Engineering、Loop Engineering、Graph Engineering 是搭建 Agent 系统时的三个架构视角;

Hermes Agent 是这些思想的一种具体系统实现。

 

>>> LangGraph <<<

>>> LangChain <<< 

 ...

 

>>> Deep Agents <<<

image    

 
  • Continue ...

...

 

>>> RAG <<<

image

...

 

>>> MCP and SKILL <<<

...

 

Chapter 8 - Latest Topics in 2026

[Harness] Loop Engineering  # 涉及到一些具体的模块、实现以及思想

 

 

 

 

 

具备了 实践 的基础条件。To-do List.

  • 自定义 harness 体验
  • harness实战体验
  • 体验其中的关键部件的设计理念
    • RAG 高低之分?
 
posted @ 2024-08-30 14:27  郝壹贰叁  阅读(100)  评论(0)    收藏  举报