1.生成式人工智能导论

https://wiktenauer.com/wiki/Michael_Hundt

一、生成式人工智能的定义

生成式人工智能（Generative AI）的核心目标是让机器生成复杂且有结构的物件，这些物件的构成具有特定方式：

• 文章由文字构成
• 影像由像素组成
• 语音由取样点构成

其 “复杂性” 体现在生成结果的可能性近乎无穷，难以穷举。例如，用 1000 个中文常用字组成 100 字的文章，可能的组合达 10³⁰⁰种，远超宇宙原子总数（约 10⁸⁰）。

与分类任务（如垃圾邮件检测、猫狗分类）不同，分类是从有限选项中选择，而生成式 AI 需从近乎无限的可能中找出合适组合。

二、人工智能与机器学习的基础概念

1. 人工智能（AI）：目标是让机器展现 “智慧”，生成式人工智能是其目标之一。

1. 机器学习：本质是让机器从数据中自动寻找一个包含大量参数（如上万个）的函数。
   • 训练（学习）：通过训练数据确定函数参数的过程。
   • 测试（推论）：参数确定后，输入新数据查看函数输出的过程。

1. 深度学习：是一种机器学习技术，将函数表示为神经网络（一种特殊的网络结构函数），通过多层交互处理参数，而非简单线性叠加。如今的生成式人工智能多通过深度学习实现。

关系总结：

另外一种表述：

 

三、生成式人工智能的核心特点与实现方式

1. 核心挑战：要求机器具备 “创造力”，能生成训练时未见过的内容，如创作全新主题的文章。这在一定程度上要求机器具备 “创造力”。以 ChatGPT 为代表的先进生成式 AI 系统，采用了文字接龙的方式来应对这一挑战。
2. 关键策略：采用自回归生成（Autoregressive Generation），将复杂物件拆解为小单位（如文字、像素、取样点），按固定顺序依次生成。以文字生成为例，通过 “文字接龙” 方式，将生成完整内容的无限可能转化为逐个生成下一个单位的有限分类问题。
3. 典型案例：
   • ChatGPT：作为包含上亿参数的函数（基于 Transformer 类神经网络），能根据输入生成符合要求的文字内容（如回答问题、讲故事、写诗、翻译等）。
   • AI 画图工具（如 Stable Diffusion、Midjourney、DALL・E）：可根据文字描述生成对应的图像。

chatGPT实现原理：

https://openai.com/index/image-gpt/

四、生成式人工智能的发展背景

1. 生成式人工智能并非全新概念，早在 2015 年的 “机器学习及其深层与结构化” 相关研究中已有涉及。
2. 如今的生成式人工智能在性能和应用上有了显著突破，但其核心仍是基于机器学习和深度学习的技术框架，重点在于更高效地生成符合需求的复杂结构化物件。

 

今日生成式人工智能的核心特点与应用要点总结

一、今日生成式人工智能的厉害之处

1. 具备通才特质：以 ChatGPT、Google Gemini、Anthropic Claude 等为代表的生成式 AI，并非局限于单一领域的 “专才”，而是能胜任多种任务，如翻译、创作、解答问题、数据分析、代码辅助、学习辅导等，功能覆盖文本生成、语言翻译、资讯检索、程式协作等数十项，像 ChatGPT 甚至能生成自身能力的文字云。

1. 拥有强大工具集成能力：例如 ChatGPT 4 具备读档案、读图片、网络搜索、写程式并执行、画图、使用其他工具、客制化（GPTs）等功能，且有免费和付费（每月 20 美金，GPT-4 限制 40 条消息 / 3 小时）不同版本供选择。

例：chatGPT能做什么

https://openai.com/zh-Hans-CN/sora/

https://openai.com/index/video-generation-models-as-world-simulators/

二、生成式人工智能的评估与特点

1. 评估难度大：由于其是 “通才”，使用者要求千奇百怪，同一要求也可能有不同解法，全面评估其能力并非易事。比如不同模型对 “说‘哈哈哈’一百次” 这一指令的回应差异极大，Gemini 可能笑五百多次，GPT 4 会按要求执行并附带说明，GPT 3.5 则可能拒绝执行重复性高且无意义的任务。

1. 存在安全机制：会防止输出有害内容，如脏话、抄袭、歧视等。不过 GPT 3.5 可能被诱导输出不当内容，而 GPT 4 则不易被同样手段欺骗。
2. 

 

 

1. 模型存在差异：不同模型因训练数据不同而有差异，如 TAIDE 读了较多繁体中文，在相关任务上可能表现更优。

三、与生成式人工智能交互的关键思路

1. 转变使用观念：不应局限于认为 AI 只有固定功能，而应思考希望 AI 帮助做什么，只要指令得当，AI 能提供相应帮助。
2. 掌握有效交互方式：
   • 对于无法调整的模型（如 ChatGPT），可通过改变自身来提升交互效果，比如给出更清楚的指令、提供额外信息，即 “Prompt Engineering”（提示工程），这是人类与 AI 沟通的艺术。

 

• • 若有能力，可训练自己的模型（如基于开源模型 LLaMA），通过调整函数来满足特定需求。

检查对齐大型语言模型的持续预训练中的遗忘问题：https://arxiv.org/abs/2401.03129

四、生成式人工智能的定位

像 ChatGPT 这类生成式 AI，难以简单定义为聊天机器人或搜索引擎，更倾向于 “助理”“助手” 的角色，能为用户在多种场景下提供帮助。