小微说
想让AI听懂人话,得先过自然语言处理(NLP)这关。
说白了,NLP就是教电脑理解、解释和生成人类语言。整个处理流程分四步:
第一步:文本预处理。 把乱七八糟的原始文字洗干净。比如去标点、分词、删掉没用的词。还要把单词还原成最基础的样子。
第二步:特征提取。 电脑只认数字,不认字。这一步就是把文字变成它能算的数字。最简单的“词袋模型”只看词频,不管顺序。高级点的“词嵌入”能把意思相近的词放在一起。
第三步:模型训练。 给电脑喂大量带答案的例子。让它自己从中找规律,就像给孩子刷题一样。
第四步:评估与应用。 拿新数据考考它。成绩达标了再上线干活,比如做翻译或问答。
大模型不是凭空变出来的,底层全靠这套基本功撑着。
本文来自博客园,作者:AceFenix,转载请注明原文链接:https://www.cnblogs.com/ukzq/p/23128524

浙公网安备 33010602011771号