AI基础小知识100条

AI基础小知识100条

---

一、机器学习基础（1-15）

1. 什么是过拟合？如何解决？
答：过拟合指模型在训练集上表现好但在测试集上表现差。解决方法：增加数据量、正则化（L1/L2）、Dropout、早停、数据增强、简化模型、交叉验证。

2. 偏差和方差的区别？
答：偏差是模型预测值与真实值的偏离程度，反映欠拟合；方差是模型对不同训练集的敏感程度，反映过拟合。理想模型是低偏差低方差。

3. L1和L2正则化的区别？
答：L1产生稀疏解，可用于特征选择；L2使权重平滑缩小，防止过拟合。L1对异常值更鲁棒，L2计算更简单。

4. 什么是梯度消失和梯度爆炸？
答：梯度消失指深层网络中梯度逐层变小趋近于零，导致浅层参数无法更新；梯度爆炸指梯度逐层变大导致训练发散。解决：BatchNorm、残差连接、梯度裁剪、合适初始化。

5. 常见的激活函数有哪些？各自特点？
答：Sigmoid（易梯度消失）、Tanh（零中心但仍饱和）、ReLU（计算快但神经元可能死亡）、Leaky ReLU（解决死亡问题）、GELU（Transformer常用）、Swish（平滑非单调）。

6. Batch Normalization的原理和作用？
答：对每个mini-batch的激活值做归一化，使其均值0方差1，再通过可学习参数缩放平移。作用：加速训练、允许更大学习率、有正则化效果。

7. 什么是交叉验证？常见类型？
答：将数据划分为多份轮流做验证集。类型：K折交叉验证、 stratified K折（保持类别比例）、留一法、时间序列交叉验证。

8. 如何处理类别不平衡？
答：重采样（过采样/欠采样）、SMOTE合成少数类、调整损失权重、使用Focal Loss、集成方法、调整分类阈值。

9. 决策树和随机森林的区别？
答：决策树是单一树模型，易过拟合；随机森林是Bagging集成多棵决策树，通过特征随机采样和样本随机采样降低方差，鲁棒性更强。

10. XGBoost和LightGBM的区别？
答：XGBoost用预排序+level-wise生长，精度高但慢；LightGBM用直方图+leaf-wise生长，速度更快内存更省，但小数据易过拟合。LightGBM支持类别特征原生处理。

11. 什么是特征工程？常见方法？
答：从原始数据提取对模型有用特征的过程。方法：归一化/标准化、独热编码、分箱、特征交叉、PCA降维、时间特征提取、文本TF-IDF。

12. 评价分类模型的指标有哪些？
答：准确率、精确率、召回率、F1分数、AUC-ROC、AUC-PR、混淆矩阵、KS统计量。不平衡数据优先看F1和AUC-PR。

13. 什么是AUC？如何理解？
答：ROC曲线下面积，表示随机取一个正样本和一个负样本，模型将正样本排在前面的概率。AUC=0.5随机，1.0完美。对类别不平衡不敏感。

14. 生成模型和判别模型的区别？
答：生成模型学习P(X,Y)或P(X)，可生成数据（如GAN、VAE）；判别模型学习P(Y|X)，直接分类（如SVM、逻辑回归）。判别模型通常分类更准。

15. 什么是EM算法？
答：期望最大化算法，用于含隐变量的参数估计。E步：根据当前参数估计隐变量后验；M步：最大化完全数据对数似然更新参数。迭代至收敛。

---

二、深度学习（16-35）

16. CNN中的卷积操作原理？
答：卷积核在输入上滑动，对应位置元素相乘求和。参数共享减少参数量，局部连接捕捉空间特征。输出尺寸=(输入-核+2×padding)/步长+1。

17. 1×1卷积的作用？
答：改变通道数（升维/降维）、增加非线性（配合激活）、跨通道信息整合、减少计算量。在Inception和ResNet中广泛使用。

18. 池化层的作用？
答：下采样减少空间维度，降低计算量，增大感受野，提供平移不变性。Max Pooling保留最强特征，Average Pooling保留平均信息。

19. ResNet的残差连接为什么有效？
答：残差连接让梯度可以直接回传，缓解梯度消失；学习恒等映射更容易，深层网络至少不会比浅层差；使训练超深网络成为可能。

20. Transformer的自注意力机制原理？
答：Q（查询）、K（键）、V（值）通过线性变换得到。Attention(Q,K,V)=softmax(QK^T/√d_k)V。√d_k缩放防止softmax梯度消失。每个位置可关注所有位置。

21. 多头注意力的作用？
答：将Q,K,V分成多组并行计算注意力，每组关注不同子空间的特征。类似CNN多通道，增强表达能力。最后拼接再线性变换。

22. Position Encoding为什么需要？
答：自注意力本身无位置信息，需要显式注入。正弦余弦编码可外推；可学习位置编码更灵活。RoPE通过旋转矩阵编码相对位置，LLaMA等广泛使用。

23. LayerNorm和BatchNorm的区别？
答：BatchNorm对batch维度归一化，依赖batch大小，适合CV；LayerNorm对特征维度归一化，不依赖batch，适合NLP和变长序列。

24. Dropout的原理？
答：训练时随机将部分神经元输出置零，防止神经元共适应。推理时所有神经元激活但输出乘以保留概率。相当于集成多个子网络。

25. 什么是注意力机制中的Mask？
答：Padding Mask屏蔽填充位置；Causal Mask（上三角）防止解码器看到未来token。Mask通过将对应位置设为负无穷再softmax实现。

26. GAN的基本原理？
答：生成器G和判别器D博弈。G生成假样本骗过D，D区分真假。最终G生成以假乱真的样本。训练不稳定，需平衡两者能力。

27. VAE和GAN的区别？
答：VAE基于变分推断，优化ELBO，生成样本模糊但稳定；GAN对抗训练，样本清晰但模式崩塌。VAE有编码器可做推断，GAN只有生成。

28. Diffusion模型的原理？
答：前向过程逐步加高斯噪声直至纯噪声；反向过程学习去噪，从噪声恢复数据。训练目标为预测噪声。生成质量高但推理慢。

29. 什么是迁移学习？
答：将源任务学到的知识迁移到目标任务。方式：特征提取（冻结预训练层）、微调（解冻部分层）、领域自适应。小数据场景尤其有效。

30. 预训练+微调范式的优势？
答：预训练学习通用表示，微调适配下游任务。减少标注需求，加速收敛，提升泛化。NLP中BERT/GPT，CV中ImageNet预训练均属此范式。

31. 对比学习的基本思想？
答：拉近正样本对（同一样本不同增强），推远负样本对。SimCLR、MoCo等。无需标签，学到的表示迁移性好。InfoNCE是常用损失。

32. 什么是知识蒸馏？
答：大模型（教师）指导小模型（学生）训练。学生学教师软标签（logits分布）而非硬标签，获得暗知识。可压缩模型、加速推理。

33. 模型剪枝的方法？
答：结构化剪枝（删通道/层）和非结构化剪枝（删权重）。基于重要性评分（L1/L2、梯度）。可减少参数量和计算量，需微调恢复精度。

34. 量化是什么？常见方案？
答：将FP32权重/激活用低精度表示（INT8/INT4）。PTQ训练后量化，QAT量化感知训练。GPTQ、AWQ用于LLM。减少显存、加速推理。

35. LoRA的原理？
答：冻结原权重，注入低秩矩阵A×B，训练时只更新A和B。参数量减少几个数量级，可插拔。QLoRA进一步量化基座，单卡可微调大模型。

---

三、NLP与大语言模型（36-60）

36. BERT和GPT的区别？
答：BERT是Encoder-only，双向注意力，MLM+ NSP预训练，适合理解任务；GPT是Decoder-only，因果注意力，自回归预训练，适合生成任务。

37. MLM和CLM的区别？
答：MLM（掩码语言模型）随机mask token让模型预测，双向上下文；CLM（因果语言模型）预测下一个token，单向上下文。BERT用MLM，GPT用CLM。

38. Tokenization方法有哪些？
答：BPE（字节对编码，GPT系列）、WordPiece（BERT）、SentencePiece（多语言）、Unigram。子词级平衡词表大小和OOV问题。

39. 什么是词嵌入？Word2Vec原理？
答：将词映射为稠密向量。Word2Vec：CBOW用上下文预测中心词，Skip-gram用中心词预测上下文。负采样加速训练。

40. LLM的涌现能力指什么？
答：模型规模超过某阈值后突然出现的能力，如上下文学习、思维链推理、指令遵循。小模型不具备，大模型自然涌现。

41. 思维链（CoT）是什么？
答：让模型逐步推理而非直接给答案。Few-shot CoT给示例，Zero-shot CoT加"Let's think step by step"。提升数学、逻辑推理表现。

42. 什么是Instruction Tuning？
答：用指令-回答对微调LLM，使其更好遵循人类指令。FLAN、InstructGPT等。提升零样本泛化，对齐人类意图。

43. RLHF的流程？
答：1) SFT监督微调；2) 训练奖励模型（人类偏好排序）；3) PPO强化学习优化策略。使模型输出更符合人类偏好。

44. DPO和RLHF的区别？
答：DPO直接优化策略，无需显式奖励模型和RL循环。用偏好对构造损失，更简单稳定。但RLHF在复杂任务上可能更优。

45. 什么是RAG？
答：检索增强生成。检索相关文档，拼接进prompt，让LLM基于检索内容回答。减少幻觉，支持知识更新，无需重新训练。

46. RAG的常见优化？
答：查询改写、混合检索（向量+关键词）、重排序、分块策略优化、多路召回、上下文压缩、引用溯源。

47. 什么是幻觉？如何缓解？
答：LLM生成看似合理但事实错误的内容。缓解：RAG、RLHF、温度降低、自我一致性、事实核查、引用来源、限制领域。

48. LLM上下文窗口如何扩展？
答：位置插值、NTK-aware缩放、RoPE改基频、滑动窗口注意力、稀疏注意力、FlashAttention优化显存。

49. 什么是MCP？
答：Model Context Protocol，Anthropic提出的开放协议，标准化LLM与外部工具/数据源的连接。类似USB-C统一接口，支持工具调用、资源访问、提示模板。

50. Function Calling的原理？
答：模型输出结构化JSON指定调用函数和参数，外部执行后返回结果。模型不直接执行，由宿主程序调度。支持多轮工具调用。

51. Agent和普通LLM调用的区别？
答：Agent有自主规划、工具使用、记忆、反思能力，可多步执行任务。普通调用是单轮问答。Agent=LLM+规划+工具+记忆+执行循环。

52. ReAct框架是什么？
答：Reasoning+Acting。模型交替进行思考（Thought）、行动（Action）、观察（Observation），循环直至任务完成。Agent基础范式。

53. 多智能体协作的常见模式？
答：辩论（多Agent讨论）、分工（角色专精）、流水线（顺序处理）、层级（管理者+执行者）、竞争（投票/择优）。

54. 如何评估LLM？
答：自动指标（BLEU、ROUGE、Perplexity）、基准（MMLU、HumanEval、GSM8K）、人类评估（相关性、事实性、安全性）、LLM-as-Judge。

55. 什么是Prompt Engineering？
答：设计输入提示以引导LLM输出。技巧：角色设定、few-shot示例、CoT、格式化输出、分步指令、约束条件。

56. 温度、top-p、top-k的作用？
答：温度控制随机性（高更随机）；top-k只从概率最高的k个token采样；top-p从累积概率达p的最小集合采样。三者配合控制生成多样性。

57. 什么是KV Cache？
答：自回归生成时缓存已计算的Key和Value，避免重复计算。显著加速推理，但占显存。MQA/GQA减少KV头数降低显存。

58. FlashAttention的原理？
答：通过分块计算和重计算，减少HBM读写，将注意力计算从O(N²)显存降至O(N)。利用SRAM高速缓存，加速训练和推理。

59. 什么是MoE？
答：混合专家。多个专家网络+门控路由，每次只激活部分专家。参数量大但计算量小。Mixtral、DeepSeek等采用。挑战：负载均衡。

60. 蒸馏LLM的常见方法？
答：黑盒蒸馏（用教师输出训练学生）、白盒蒸馏（用logits和中间层）、CoT蒸馏（学推理链）、指令蒸馏（学指令遵循）。

---

四、AI Agent与工具链（61-75）

61. AI Agent的核心组件？
答：规划（任务分解）、记忆（短期/长期）、工具使用（API/函数）、执行（行动）、反思（自我修正）、环境交互。

62. 如何设计Agent的记忆系统？
答：短期记忆用上下文窗口；长期记忆用向量数据库检索；工作记忆存当前任务状态；情景记忆存历史交互。需考虑遗忘和压缩机制。

63. Agent的工具调用如何实现？
答：定义工具schema（名称、描述、参数），模型输出调用请求，宿主执行并返回结果，模型整合结果继续推理。支持并行和串行调用。

64. 如何评估Agent性能？
答：任务完成率、步骤效率、工具调用准确率、错误恢复能力、成本、延迟。基准：AgentBench、WebArena、SWE-bench。

65. 什么是OpenClaw？
答：开源AI Agent框架，支持本地部署、多模型接入、工具调用、技能扩展。注重数据隐私和本地化运行。

66. Claude Code的Agent能力？
答：Anthropic的编程Agent，支持代码库理解、多文件编辑、终端命令执行、Git操作、测试运行。基于Claude模型，有Plan和Act模式。

67. Codex的Skill机制？
答：Skill让Agent理解团队标准、工作流和规范。可嵌入代码审查规则、CI流程、项目约定，使Agent输出符合团队要求。

68. OpenCode的多Agent模式？
答：支持创建专用Agent，自定义prompt、模型、工具权限。可做代码审查、测试生成、文档编写等专项任务。支持Plan/Build模式切换。

69. Harness Agent的用途？
答：CI/CD平台中的AI Agent，用于自动化代码审查、测试、部署。可配置pipeline，集成到DevOps流程。

70. MCP和Function Calling的区别？
答：Function Calling是模型能力，输出调用请求；MCP是协议标准，规范工具/资源的描述、发现和调用。MCP更通用，跨模型跨平台。

71. 如何防止Agent执行危险操作？
答：权限最小化、沙箱执行、人工确认关键操作、操作审计日志、回滚机制、白名单工具、输出过滤。

72. Agent的规划能力如何提升？
答：CoT/ToT规划、任务分解、子目标生成、反思重规划、外部规划器、示例学习、约束满足。

73. 多Agent通信协议有哪些？
答：MCP（工具/资源）、A2A（Agent间）、ACP（Agent通信协议）、自定义消息格式。标准化是趋势。

74. 本地部署Agent的挑战？
答：模型能力受限、显存不足、推理速度慢、工具生态少、更新维护难。优势：数据隐私、离线可用、成本可控。

75. Agent的幻觉如何控制？
答：工具验证、事实核查、多源交叉、置信度阈值、人工审核、限制自主权、RAG增强。

---

五、工程与部署（76-90）

76. 模型部署的常见方式？
答：API服务（FastAPI/Flask）、推理框架（vLLM/TGI/TensorRT-LLM）、边缘部署（ONNX/TFLite）、Serverless。

77. vLLM的核心优化？
答：PagedAttention管理KV Cache、连续批处理、量化支持、分布式推理。吞吐量比HuggingFace高数倍。

78. 如何优化LLM推理延迟？
答：量化、KV Cache、FlashAttention、投机解码、连续批处理、模型并行、预填充优化、缓存命中。

79. 什么是投机解码？
答：小模型草稿多个token，大模型并行验证。接受正确token，拒绝则重采样。加速生成2-3倍，输出分布不变。

80. 分布式训练的并行策略？
答：数据并行（DP）、张量并行（TP）、流水线并行（PP）、专家并行（EP）。3D并行组合使用。ZeRO分片优化器状态。

81. 混合精度训练的原理？
答：FP16/BF16计算，FP32主权重。Loss Scaling防止梯度下溢。BF16范围大更稳定，FP16精度高。加速训练省显存。

82. 梯度累积的作用？
答：小batch多次前向累积梯度再更新，模拟大batch。解决显存不足，稳定训练。需调整学习率。

83. 如何监控模型训练？
答：Loss曲线、学习率、梯度范数、权重分布、激活分布、GPU利用率、显存占用。工具：TensorBoard、WandB。

84. 模型版本管理怎么做？
答：Git LFS存权重、DVC数据版本、MLflow实验追踪、模型注册表、A/B测试、灰度发布、回滚机制。

85. 什么是MLOps？
答：机器学习运维，涵盖数据管理、实验追踪、模型训练、部署、监控、再训练全流程。工具：MLflow、Kubeflow、Airflow。

86. 如何做A/B测试？
答：分流用户到不同模型版本，统计指标差异，假设检验判断显著性。注意样本量、实验周期、辛普森悖论。

87. 模型监控的关键指标？
答：预测延迟、吞吐量、错误率、数据漂移、概念漂移、特征分布、输出分布、业务指标。

88. 什么是数据漂移和概念漂移？
答：数据漂移指输入分布变化；概念漂移指输入-输出关系变化。需监控并触发再训练。检测：PSI、KL散度、KS检验。

89. 如何保证AI系统安全？
答：输入过滤、输出审核、权限控制、对抗训练、差分隐私、联邦学习、审计日志、红队测试。

90. 模型压缩的常见方法？
答：量化、剪枝、蒸馏、低秩分解、权重共享、神经架构搜索。平衡精度、速度、大小。

---

六、伦理、趋势与综合（91-100）

91. AI伦理的核心问题？
答：偏见与公平、隐私、透明性、问责、安全、就业影响、自主武器、环境成本。

92. 如何缓解AI偏见？
答：多样数据、偏见检测、公平性约束、去偏算法、人类审核、透明报告、持续监控。

93. 什么是可解释AI？
答：让AI决策可理解。方法：LIME、SHAP、注意力可视化、决策树代理、反事实解释、特征重要性。

94. 联邦学习的原理？
答：多参与方本地训练，只上传梯度/参数更新，中心聚合。保护数据隐私，适合医疗金融。挑战：通信成本、异构数据。

95. 差分隐私是什么？
答：在数据或梯度中加噪声，使个体不可识别。ε控制隐私预算。DP-SGD用于联邦学习。隐私与效用权衡。

96. AI对齐问题指什么？
答：确保AI目标与人类价值观一致。挑战：目标指定、奖励黑客、权力寻求、可扩展监督。RLHF是当前主要方法。

97. 人形机器人与AI Agent的结合趋势？
答：LLM作为机器人大脑，负责规划、对话、工具调用；VLA模型连接视觉-语言-动作；Agent框架管理任务执行。具身智能是下一个爆发点。

98. 2025年AI Agent的发展趋势？
答：多Agent协作、MCP标准化、本地化部署、垂直领域专精、工具生态爆发、人机协作深化、安全与对齐重视。

99. 如何保持AI工程师的竞争力？
答：跟进论文（ArXiv）、动手实践（开源项目）、理解底层原理、跨领域知识、工程能力、产品思维、持续学习。

100. 如何看待AI的未来？
答：参考方向：AGI渐进式实现、AI与人类协作增强、技术民主化、监管与创新平衡、社会结构重塑。强调务实乐观，关注落地价值。

---

以上答案基于2025年技术背景整理，具体细节请以最新论文和官方文档为准。