My Github

ChatGPT学习之旅 (1) 初步了解ChatGPT

大家好,我是Edison。

之前说过,我们即将开始一段AIGC学习之旅,从ChatGPT到Github Copilot再到Semantic Kernel,第一站是ChatGPT。在这一站,我们花一点时间快速了解一下ChatGPT,并做一些实战实际体会下ChatGPT能够对我们带来怎样的改变。

GPT到底是什么

首先,我们需要了解GPT的全称:Generative Pre-trained Transformer,即三个关键词:生成式 预训练 变换模型

(1)什么是生成式

即能够生成新的文本序列。

(2)什么是预训练

即能够在模型数据集基础上进行无监督学习,当学习到一些通用的特征或知识,就能够讲这些知识迁移到其他任务上。

这种无监督学习,是没有标签/目标,也没有反馈,它自己会寻找数据中隐藏的结构。下图展示了三种学习模式的差别,而ChatGPT采用的实无监督学习 和 强化学习。

(3)什么是变换模型

这是一种神经网络结构,通过对输入序列的层层处理,得到最终的输出。

简单地说,它就是一个黑盒子,例如我们在做文本的翻译任务时,当我们输入一个中文,经过这个黑盒子,输出翻译后的英文。当然,这个黑盒子内部有一系列的复杂操作,通过一些 encoder 和 decoder 生成最终的输出,如下图所示。

GPT的本质是猜概率

现阶段的GPT都是在“玩文字游戏”,它只是在进行一次又一次的概率解题,和我们玩填字游戏是一个逻辑,只不过,我们人类是靠知识和智慧,而AI主要靠概率计算。经过大量的数据训练后,AI预测到下图所示的空格中可能会出现的最高概率的词,进而将其进行输出。

在基于大语言模型(LLM)基础上,逐渐演进出了两个最主流的方向:BERT 和 GPT。在GPT3.0发布前,GPT一直弱于BERT,而3.0发布之后GPT貌似一骑绝尘了。GPT方向上,最知名的玩家非OpenAI莫属,从我们开始熟悉的GPT3.5到GPT4.0。

生成式AI全景图

生成式AI应用全景图如下图所示,可以看到,它可以做很多个类别的事情,从文本到编码再到图片,以及今年Sora大模型掀起的视频生成浪潮,基于每个类别提供的动力,我们可以在其上层开发构件潜在的应用程序。

目前生成式AI应用最广泛的当属 文本 和 编码 了,也可以看到,文本 只是 生成式AI生态中的 一环,而不是全部,而这一环就是我们现在学习的 ChatGPT。

ChatGPT的进化过程

下面这张图完整展示了ChatGPT的进化过程,经过了多年的技术积累,最终形成了针对人类反馈信息学习的大规模预训练语言模型。

ChatGPT可以做什么

ChatGPT很能干,它可以干50+件事情!

其中,问答、翻译、写文案、提炼文字、生成代码、代码解释 等是最常见的应用场景。

ChatGPT不可以做什么

首先,我们需要知道:ChatGPT本身不是联网的,它的大模型本身就存在时效性,在解决你的问题之前,它所学到的知识将始终落后当前一段时间,因为大模型的重新训练成本很大,因此不是每天更新的,所以不会联网。

因此,我们便可以知道,ChatGPT还不会很快地取代Google和百度帮你查到最新的技术文档,也没法代替小爱同学帮你查询天气,无法替代高德地图帮你推荐附近的美食 等等。

小结

本篇,我们了解了GPT的含义 以及 ChatGPT的演进过程,以及ChatGPT能做什么 和 不能做什么。下一篇,我们了解下ChatGPT的核心训练方式:Prompt。

参考资料

李佳芮,《ChatGPT从0到1

林健,《零基础GPT应用入门课

Global AI Bootcamp 成都站,梁桐铭,《学习如何使用Prompt与OpenAI模型对话》

posted @ 2024-05-24 08:30  EdisonZhou  阅读(78)  评论(0编辑  收藏  举报