基于语言模型的聊天机器人产品（ChatGPT等）

https://baike.baidu.com/item/ChatGPT/62446358?fr=aladdin

1 ChatGPT

https://chat.openai.com/

1.1 介绍

ChatGPT（全名：Chat Generative Pre-trained Transformer），美国OpenAI研发的聊天机器人程序，于2022年11月30日发布。
ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码、写论文等任务。

1.2 发展历程

2022年11月底，人工智能对话聊天机器人ChatGPT推出，迅速在社交媒体上走红，短短5天，注册用户数超过100万。
2023年1月末，ChatGPT的月活用户已突破1亿，成为史上增长最快的消费者应用。
2023年3月15日，OpenAI正式推出GPT-4。GPT-4是多模态大模型，即支持图像和文本输入以及文本输出，拥有强大的识图能力，文字输入限制提升到了2.5万字。GPT-4的特点在于，第一，它的训练数量更大；第二，支持多元的输出输入形式；第三，在专业领域的学习能力更强。

1.3 核心竞争力

ChatGPT受到关注的重要原因是引入新技术RLHF（Reinforcement Learning with Human Feedback，即基于人类反馈的强化学习）。
RLHF解决了生产模型的一个核心问题，即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保存一致。
ChatGPT是AIGC（AI-Generated Content，人工智能生成内容）技术进步的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。

1.4 社会应用

一项调查显示，截止2023年1月，美国89%的大学生都是用ChatGPT做作业。
2023年2月2日，微软公司的搜索引擎Bing（必应）、Edge浏览器、Office、云计算平台Azure将整合ChatGPT。
2023年2月16日，百炼智能潜客宝团队决定集成以“内容生成和智能互动”见长的ChatGPT，正式上线智能营销助理。
2023年2月27日，Snapchat（有斯坦福大学两位学生开发的一款“阅后即焚”照片分享应用）将推出基于OpenAI的ChatGPT的聊天机器人My AI。

1.5 官方回应

使用ChatGPT完成作业和写论文是不道德和不健康的学习方式。学生们需要学会自主思考，理解知识并自己动手完成作业。使用ChatGPT完成作业只能短暂地帮助学生获得分数，但不能提高他们的学习能力和知识水平。

2 文心一言

https://yiyan.baidu.com/
文心一言（英文名：ERNIE Bot）是百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。文心一言是知识增强的大语言模型，基于飞桨深度学习平台和文心知识增强大模型，持续从海量数据和大规模知识中融合学习具备知识增强、检索增强和对话增强的技术特色。

3 Bard

https://bard.google.com/
Bard是谷歌在一个大型语言模型基础上，推出的聊天机器人。Bard背后的力量是Google的对话应用语言模型，又名LaMDA。Bard是基于LaMDA的轻量级版本，使用更少的计算能力，使其能够扩展到更多的人，并提供额外的反馈。
2023年4月21日，据彭博消息，谷歌表示Bard现在可以帮助编写代码、调试和解释代码。
当地时间2023年5月10日，谷歌在I/O开发者大会上发布了大语言模型PaLM2，该模型将驱动聊天机器人Bard，升级后的Bard将支持超20种编程语言，面向全球开放。

4 MOSS

https://moss.fastnlp.top/
MOSS是复旦大学自然语言处理实验室发布的国内第一个对话式大型语言模型。
2023年2月20日，解放日报·上观新闻记者从复旦大学自然语言处理实验室获悉，MOSS已由邱锡鹏教授团队发布，邀公众参与内测。2月21日，该平台发布公告，感谢大家的关注，同时也指出，MOSS还是一个非常不熟悉的模型，距离ChatGPT还有很长的路需要走。

5 通义千问

https://tongyi.aliyun.com/
通义千问，是阿里云推出的一个超大规模的语言模型，功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。能够跟人类进行多轮的交互，也融入了多模态的知识理解，且有文案创作能力，能够续写小说，编写邮件等。

6 商量

https://chat.sensetime.com/mb/#/
商量（SenseChat），是商汤科技旗下的中文语言大模型应用平台。
2023年4月10日，商汤科技举办技术交流日活动。商汤研发的大语言模型被命名为“商量SenseChat”。

7 知海图AI

知海图AI，是知乎和面壁科技合作发布的中文大模型，于2023年4月13日正式开启内测。

8 泰坦

泰坦（Tian），是亚马逊推出的大型语言模型。
2023年4月13日，亚马逊服务部门宣布推出自有的大型语言模型泰坦。

9 WPS AI

“WPS AI”是金山办公旗下具备了大语言模型能力的一款生成式人工智能应用，也是中国协同办公赛道首个类ChatGPT式应用。

10 天工

天工是由昆仑万维和奇点智源合作自研的大语言模型。
2023年4月17日，昆仑万维正式发布大语言模型“天工”，即日起启动邀请测试。

11 讯飞星火认知大模型

“讯飞星火认知大模型”是科大讯飞发布的产品，具有7大核心能力，即文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力。
2023年5月6日，科大讯飞正式发布星火认知大模型。

12 PanGu

华为盘古NLP（自然语言处理），与OpenAI GPT-3相比，同样达到千亿级参数量，由华为与鲲鹏实验室联合开发，鹏城云脑二期提供算力底座。
盘古NLP是全球最大的中文语言AI训练大模型，而ChatGPT是世界各国语言的AI训练大模型，这就是他们本质上的区别。
“盘古Chat”主要面向ToB/G政企端客户。

13 硅基知识大模型

https://www.metamind.cn/
硅基知识大模型是深兰科技研发的一款针对垂直领域、特定用户、细分应用场景的、用户可训练的生成式大语言模型。
该模型主要用于进行知识的个性化和专业化预训练，实现用户终身上下文学习、垂直领域知识嵌入与表示、在垂直应用中有效减少AI发事实、提供持续一致的更加可控的服务等，做到“负责人的AI、可信的AI、易用的AI”。

14 拓世大模型

拓世大模型是拓世科技集团开发的具有巨大规模和复杂结构的人工智能大语言模型，拥有数万亿个参数，通过在庞大的数据集上进行训练，以AI为核心，构建了一个全面的数字化生态系统，可处理包括自然语言、图像、声音等在内的多种形式信息，具备理解和生成高质量内容的能力。
2023年6月10号，拓世科技集团AI+战略暨AIGC拓世大模型发布会上正式发布拓世大模型。

15 Claude

2023年3月15日，Anthropic 发布了一款类似ChatGPT的产品Claude。
Anthropic由OpenAI前员工成立。

16 Google智能助理

Google智能助理是Google开发的智能助理，于2016年5月在Google I/O发布。与Google即时不同，Google智能助理可以参与双向对话。智能助理被集成在Allo应用、Google Home设备、Android 6.0或以上的设备、Pixelbook、Wear OS、Android TV、iOS和Android Auto。

17 Replika

Replika是一家名为Luka的公司在2016年就推出了自己的人工智能聊天机器人产品。

18 紫东太初

紫东太初，是中国科学院自动化研究所研发的跨模态通用人工智能平台。全球首个图文音（视觉-文本-语音）三模态预训练模型（OPT-Omni-Perception pre-Trainer），同时具备跨模态理解与跨模态生成能力，取得了预训练模型突破性进展。
2023年6月16日，中国科学院自动化研究所发布紫东太初2.0。

LLaMA

1.LLaMA美洲驼
Meta发布了一个新语言模型叫LLaMA，有650亿个参数。

2.OPT
基于1750亿参数的OPT大模型，该网站支持多种文本生成任务，包括事实回答、聊天机器人、翻译、文章创作等。
OPT（全称：Open Pretrained Transformer）是Meta（Facebook）AI实验室发布的对标GPT-3的大规模Transformer模型，共有1750亿个参数。
与OpenAI尚未公开模型权重的GPT-3相比，Meta AI慷慨地开源了所有的代码以及模型权重，极大推动了AI大模型落地与应用，每一位开发者都能以此为基础开发个性化的下游任务。

悟道

悟道2.0，是由北京智源人工智能研究院牵头，智谱AI等多家机构共同研发的超大规模智能模型。参数规模达到1.75万亿个，可以同时处理中英文和图片数据。
2021年6月1日，基于全球最大智能模型“悟道2.0”诞生的中国首个原创虚拟学生“华智冰”在北京正式亮相。
OpenBMB团队依托智源研究院研发的“悟道·文源”中文大规模预训练语言模型CPM-1、CPM-2、CPM-3，参数量最高达到1980亿，在众多下游任务中取得优异性能。

2023年6月10日，智源研究院正式发布了悟道3.0大模型。

CPM-Bee

2023年1月，OpenBMB与面壁智能公司联合研发的CPM-Bee多语言百亿大模型登顶ZeroCLUE。
OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。

360智脑

安全大模型

腾讯的混元AI大模型

“混元”大模型

王小川创办的百川智能

百川智能

王慧文创办的光年之外

光年之外

出门问问内部孵化的AGI项目

AGI项目

其它

【未来文本AIGC发展趋势】
ChatGPT的出现极大地扩展了AI能力的边界，从而极大地扩展了AI技术的市场应用空间，对于整个人工智能相关行业是一个极大的鼓舞。对于人工智能行业的科技公司和从业者来说，都有必要深入地思考未来在技术生态链中的定位，以及公司未来在研究方向和业务应用方向的定位与布局。
其中，通用的AI大模型的研究与优化工作因为其研发与训练成本高昂导致的高门槛，将由少数超大型公司承担，成为类似发电厂或原油开采商一样的上游企业。但是通用的大模型未必能最优地解决多样化的行业任务，因此针对特定目标进行优化训练与增强的科技公司将成为类似电力传输或炼油厂一样的中游企业。而将AI能力落地解决客户具体任务的公司将成为类似电器或汽车制造商的下游服务商。
ChatGPT是一个用于人机对话的语言模型，是目前自然语言处理领域最前沿的研究成果之一。虽然本意是用于人机对话，但是由于其高质量的对话内容响应能力，事实上相当于解锁了多样化的文本内容生成能力，因此成为AIGC里程碑式的模型或产品。另外，生成式模型做为一个黑匣子，仍然具有结果不可控的特点。因此ChatGPT尚不能成为一些对精准性有较高要求的任务的解决方案。而且这种局限性短期内仍难以解决。

1.打通模型与结构化知识的关联
2.专业化
3.小型化

【大模型】
1.自行研发大模型，使用Python语言、Pytorch框架
2.偏向古文大模型，应用于抽取、翻译、摘要、聊天等任务
3.在bloom和glm上二次预训练
1）bloom：BigScience Large Open-science Open-access Multilingual Language Model
BigScience团队，发布日期2022-07-11，1760亿参数
ROOTS语料库
bloom能够高效地从大量的历史资料中提取信息，而这是任何搜索引擎都做不到的。
2）glm-10b-chinese：General Language Model
清华大学，发布日期2023-03-04，100亿参数
4.开源文本标注工具doccano（documment annotation），支持三种NLP任务的文本标注，文本分类、序列标注和序列到序列（例如文本翻译）。
https://zhuanlan.zhihu.com/p/371752234
5.数据集CBDB（China Biographical Database，中国历代人物传记资料库）

最近几年AI模型列表

https://www.datalearner.com/ai-models/pretrained-models

公司/机构 产品 模型 参数数量 发布时间 备注
【国外】
OpenAI GPT-3 1750亿 2020-05-28 模型全称Generative Pre-trained Transformer。在少样本和0样本的情况下，展现出强大的泛化能力。
Instruct GPT 1750亿 2022-03-04 通过对GPT-3进行微调来开发该模型，使其能够使用人类的反馈来遵循指令。三个步骤：（1）监督微调（Supervised Fine-Tuning，SFT），（2）奖励模型（Reward Model，RM）训练，以及（3）通过近似策略优化（Proximal Policy Optimization，PPO）对该奖励模型进行强化学习。
ChatGPT GPT-3.5 1750亿 2022-11-30 是基于GPT-3微调的模型版本，参数量分成1750亿、60亿、13亿三个版本。
ChatGPT GPT-4 1750亿 2023-03-14 多模态模型。与GPT-3.5相比，GPT-4更加可靠、稳定且有创造性！Bing、Office等很多产品已接入。
Google Research BERT 3.4亿 2018-10-11 模型全称Bidirectional Encoder Representations from Transformers。使用Transformer网络架构，用于对话系统、语言识别、文本分类、语言翻译、命名实体识别等。
Bard PaLM 5400亿 2022-04-05 模型全称Pathways Language Model。0.78万亿tokens。
Bard PaLM2 3400亿 2023-05-10 3.6万亿tokens。支持一百多种语言，模型参数比PaLM更小，但是能力更强。
MetaAI OPT 1750亿 2022-05-02 模型全称Open Pre-trained Transformer。
LLaMA 650亿 2023-02-24 模型全称Large Language Model Meta AI。7B、13B、33B和65B。
Anthropic Claude LM v4-s3 520亿 2023-03-15 模型全称Language Model，自回归模型。前OpenAI员工创办，人工智能聊天机器人，对话和文本处理，2023年初谷歌已投资3亿美元。
【国内】
百度 Baidu-ERNIE 3.4亿 2019-03-00 模型全称Enhanced Representation through kNowledge IntEgration通过知识集成增强表示。
ERNIE 2.0 3.4亿 2019-07-00 实验结果表明，ERNIE 2.0在16个任务上的表现优于BERT和XLNet，包括GLUE基准上的英语任务和中文中的几个常见任务。
文心一言 ERNIE 3.0 100亿 2021-07-00 它融合了自动回归网络和自动编码网络，因此，训练后的模型可以很容易地通过零点学习、几点学习或微调来适应自然语言理解和生成任务。
清华 Tsinghua-ERNIE 1.14亿 2019-05-17 模型全称Enhanced Language Representation with Informative Entities用信息实体增强语言表示。
GLM-130B 1300亿 2022-03-17 模型全称General Language Model。这个模型虽然开源，但是需要发邮件申请才能使用。
ChatGLM-6B 62亿 2023-03-14 开源的对话机器人。官方提供了几个使用实例：自我认知、提纲写作、文案写作、邮件助手、信息抽取、角色扮演、评论比较、旅游向导。注意，模型的代码和预训练文件是开源的，但是预训练结果不可商用！
华为 PanGu-Alpha 2000亿 2021-04-26 目前开源了两个版本：鹏程·盘古α和鹏程·盘古α增强版，并支持NPU和GPU两个版本，具备较强的少样本学习的能力。
腾讯 HunYuan-NLP 1T 10000亿 2022-11-26 “混元”大模型。
复旦大学 MOSS 160亿 2023-02-20 支持中英双语和多种插件的开源对话语言模型。
OpenBMB CPM-Bee 100亿 2023-05-27 模型全称Chinese Pre-trained Model。10亿、20亿、50亿和100亿，开源
智源研究院 悟道2.0 1.75万亿 2021-06-01 当时中国首个、全球最大的万亿级模型。
悟道3.0 AquilaCode-7B 2023-06-10 悟道 3.0 包含的项目有「悟道・天鹰」（Aquila）语言大模型系列、FlagEval （天秤）大模型语言评测体系以及「悟道・视界」视觉大模型系列。
阿里 通义千问、通义听悟 通义大模型
posted @ 2023-03-03 09:58  LiWeixiao  阅读(15189)  评论(0)    收藏  举报