[AI] 通用智能 - Agent

以下是2024年下半年，那时的想法。现在回头看，也有点不好意思。但依然保留下来，能真实的记录下 当前技术进步的飞速。

 

此时，应该是o1-preview刚出来时，但 推力模型在内部已经确认可以工程化的事情，也就同时意味着 Agent时代 加速进入的节奏。

但此时，我貌似还没有意识到！

 

08/24

过去两年，行业迎来巨变。游戏规则不一样了，需要博客整理下思路。

除了下面的提到的几个技能点，Kubenates需要精进 正好结合近期的实际项目。

• • [Full-stack] 一切皆在云上 - AWS

 

 

数字人

LivePortraint的出现，在工程的设计与实现上颠覆了许多。

[GenerativeAI] Avatar solutions

[Avatar] Avatar by ImgGen

[Avatar] Talking Face Dataset and Solutions

Animate Anyone

Face2Faceρ : Real-Time High-Resolution One-Shot Face Reenactment

[facefusion] Next generation face swapper and enhancer.

• • FaceFusion 源代码不是很多但实用，可以学习

 

现在的离线数字人视频已经完全被新技术干掉，效果很棒！

当时的预测正确，实时数字人还是一块大模型时代下的幸存之地！

 

 

Practice

[GenerativeAI] Webui Practice

LLM Fine Tune 

LLM Deployment

[MLLM] MiniGPT-4

 

一些当时可能还想了解下的技能，但现在看来，意义不大，也没有条件去实践。

 

 

大模型时代

[GenerativeAI] Contrasive Learning and CLIP

[Multimodal] Since ViLT

[GenerativeAI] How to train both?

[GenerativeAI] GAN to Diffusion

[GenerativeAI] MAE and SAM

[diffusion] Stable Diffusion

[diffusion] Video Diffusion

 

这里的总结还算不错，其中主要来源于Li Mu的教学视频系列，很棒，但截止与 GPT 4.（Mar 31, 2023）

 

 

Agent时代 --> TODO is Done. 

(以下是过去的玩味笔记，可见上次的认知还停留在2024上半年)

• LangChain Tutorial
• [agent] Agent Chatting Group [仿真智能聊天模拟器]
• [agent] Agent Chatting Group - logs analysis

但此时，是随性谈话，没有目标。场景更适合“模拟世界”，例如用户调查等等。

此事发生在 20 Mar 2024。 

o1 推理模型的产品化还未走上舞台。

 

这是一篇 近期的 “综合理解”：[agent] Master AI Agent  # 回顾近代AI的发展 Since 2022.

然后，重点介绍了近期 Agent Engineering 的过程：[agent] Agent Engineering 2024-2025  # 然后重点关注了近两年的变化

以下可能有广泛的指导意义：

1. 状态一致性（state consistency）

2. 幂等性（idempotency）

3. 副作用控制（side effect control）

4. 失败恢复（recovery strategy）

5. 可观测性（observability）

 

Promp Engineering: [agent] From Prompt Learning to SIPDO: A Shift Toward Closed-Loop Self-Evolution  # 既然 上下文？Prompt？管理很重要，此文的自动化值得深思

学术角度：[agent] Learn Agent on UC Berkeley CS294-196  # 近三个学期的 Agent 课程一致在与时俱进的更新

• [agent] Multi-model Agents, why?  # Multimodel 单独重点学习下，初步背景了解。以及 MCP SKILLS and Context 7.
• [agent] Single to Multi Agents Insight  # 包括 一部分 Multi Agents.
• [agent] Advanced Multi-model Agents.

源码分析： [agent] TradingAgents: Multi-Agents LLM Financial Trading Framework [Todo List]