这张图对比了 Ngram 语言模型 和 神经网络(NN)语言模型 的区别,用大白话解释就是:
| 对比项 | Ngram 模型(传统套路) | NN 模型(神经网络新玩法) |
| 解码速度 |
快(简单查表、计算,像背公式答题) |
慢(要算复杂神经网络,像解奥数题) |
| 内存消耗 |
大(存很多 “词组统计结果”,占地方) |
小(靠神经网络学习规律,不用存那么多) |
| 是否调参 |
不用(或很少调,规则简单) |
必须调(神经网络参数多,得反复试) |
| 模型大小 |
大(存的统计数据多,文件大) |
小(靠学习规律,文件相对小) |
| 长距离依赖 |
搞不定(只能看附近几个词,远了就懵) |
能应付(神经网络能抓长文本里的关联) |
| 词义关系 |
没概念(只统计词的出现频率,不管意思) |
能理解(学得到词之间的语义关系,比如 “猫” 和 “动物”) |
| 泛化能力 |
弱(遇到没见过的词 / 用法,就不会了) |
强(能举一反三,没见过的也能猜猜) |
简单说:
- Ngram 像 “死记硬背”,速度快但死板,只能处理短文本、简单规律;
- NN 模型 像 “会思考学习”,更灵活智能,但计算慢、调参麻烦。
现在主流的大模型(比如 ChatGPT),基本都是 NN 模型的进化版,靠强大的学习能力碾压传统 Ngram~