ml.net例子笔记8-生成式AI-大模型LLM
生成式AI
生成式AI是指能够通过学习数据和语言，生成新的、在某种程度上相似的输出，这种技术由深度学习特别是神经网络的快速发展推动。
一、数据：AI的燃料
首先，要理解生成式AI，我们必须了解它的基础——数据。数据是AI的燃料，没有数据，AI就无法运行。
在生成式AI中，我们需要大量的高质量数据进行训练，以便模型能够学习并生成新的、在某种程度上与原始数据相似的数据。例如，在图像生成模型中，我们需要大量的图像数据来进行训练，以便模型能够理解并生成新的图像。
二、生成模型
在生成式AI中，生成模型是核心。这些模型被设计成可以从数据中学习模式，并利用这些模式来生成新的、在某种程度上与原始数据相似的数据。
生成模型有很多种，包括循环神经网络（RNN）、变换器（Transformer）和生成对抗网络（GAN）等。其中，RNN和Transformer是两种主要的文本生成模型，而GAN是一种能够生成新图像的模型。
三、深度学习：生成式AI的核心技术
深度学习是推动生成式AI发展的核心技术。它是一种机器学习方法，通过建立多层神经网络来模拟人脑的学习过程。
在生成式AI中，深度学习模型被用来从大量的数据中学习模式，并利用这些模式来生成新的数据。这些模型的训练通常需要大量的计算资源和时间，但它们可以在各种任务中表现出色，从图像识别到自然语言处理。
四、应用：超越文字和图像
生成式AI的应用已经超越了文字和图像，扩展到了音频、视频等多个领域。例如，音频合成软件可以生成逼真的人声，用于语音助手、虚拟歌手等领域；视频合成技术则可以将已有的视频进行编辑和再创造，实现智能视频制作。此外，生成式AI也被广泛应用于文本生成、图像生成、音乐生成等各个领域。例如，在文本生成方面，可以利用该技术生成文章、摘要等内容；在图像生成方面，可以利用该技术实现艺术作品的自动化创作，或者根据用户提供的简单草图生成精美插画；在音乐生成方面，可以利用该技术创作出和谐、有节奏感的乐曲。
总之，理解生成式AI需要我们深入了解其背后的数据、生成模型以及深度学习等技术。随着这些技术的不断发展，我们有理由相信，未来的生成式AI将会更加智能化、高效化，为人类的生产生活带来更加丰富的可能性。
LLM
https://learn.microsoft.com/zh-cn/training/modules/fundamentals-generative-ai/3-language%20models
生成式 AI 应用程序由大型语言模型 (LLM) 提供支持，这是一种专用的机器学习模型，可用于执行自然语言处理 (NLP) 任务，包括：
- 确定情绪或以其他方式对自然语言文本进行分类。
- 汇总文本。
- 比较多个文本源的语义相似性。
- 生成新的自然语言。
Azure OpenAI 服务是 Microsoft 的云解决方案，用于部署、自定义和托管大型语言模型。 它将 OpenAI 最前沿的模型和 API 与 Azure 云平台的安全性和可伸缩性结合在一起。 Microsoft 与 OpenAI 的合作伙伴关系使 Azure OpenAI 用户能够访问最新的语言模型创新。
Azure OpenAI 支持许多可满足不同需求的模型。 这些模型包括：
- GPT-4 模型是最新一代的生成式预训练 (GPT) 模型，可以根据自然语言提示生成自然语言和代码补全。
- GPT 3.5 模型可以根据自然语言提示生成自然语言和代码补全。 具体而言，GPT-35-turbo 模型针对基于聊天的交互进行了优化，在大多数生成式 AI 方案中都表现良好。
- 嵌入模型将文本转换为数字向量，并且在语言分析方案（例如比较文本源的相似性）中非常有用。
- DALL-E 模型用于基于自然语言提示生成图像。 目前，DALL-E 模型处于预览阶段。 DALL-E 模型未在 Azure OpenAI Studio 界面中列出，并且不需要显式部署。
copilot
copilot 这个名称源自 Microsoft，在整个行业中用于描述第一方和第三方助手。 Microsoft 将 Microsoft Copilot 称为第一方助手，将其他公司开发的插件称为第三方助手。
https://learn.microsoft.com/en-us/collections/1n31t57k7k6r85
https://github.com/Azure-Samples/azure-search-openai-demo-csharp
GPT
当谈论大型语言模型时，我们基本上是在谈论擅长生成类似人类语言的软件。真正引起人们关注的第一个模型是OpenAI于2018年开发的GPT（Generative Pre-trained Transformer）模型。众所周知，ChatGPT基本上就是GPT-3.5。
GPT模型之所以如此特殊，是因为它是首批使用Transformer架构的语言模型之一。这是一种能够很好地理解文本数据中的长距离依赖关系的神经网络类型，使得该模型能够生成高度连贯和上下文相关的语言输出。拥有1.17亿个参数的GPT模型对自然语言处理领域产生了重大影响，真正改变了游戏规则。
