大模型的实现原理简单归纳、各种术语的总结

学会说话：利用深度神经网络来训练语言模型，先收集尽可能多的文本，每次随机收取一段上文，让模型学会接着往下背诵
理解意图：理解用户的需求是什么，通过训练，让大模型可以准确的识别用户的意图，并基于“给上文，补下文”
反馈择优：模型生成多个不同的回答。对不同回答排序，采用强化学习算法进一步调整模型，使输出回答更符合人们的期望
https://github.com/deepseek-ai/DeepSeek-R1
https://gitcode.com/gh_mirrors/de/DeepSeek-R1
模型文件
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/tree/main

蒸馏模型
大模型的运行需要极高的硬件资源，通常都是服务器集群并挂载数量众多的GPU
为了满足低性能设备的运行，可以对大模型进行蒸馏
完整大模型 ---------老师
小模型 --------- 学生（只学习最精华、最重要的部分），对性能要求没有那么高
模型蒸馏：对模型进行简化，尽可能保证模型性能的前提下，尽可能减少对硬件资源的需求

deepseek-r1（推理）：性能高、训练成本低、技术完全开源、纯国产
deepseek-v3（语音模型）
模型本身就是普通文件，无法直接使用，需要特定手段对模型进行部署
私有化部署大模型构建聊天机器人