机器学习的范式

1、机器学习的核心学习范式 (Core Learning Paradigms)

• 监督学习 (Supervised Learning)：模型从带有标签的训练数据中学习映射关系（如输入->输出）。主要用于分类和回归任务。
• 例子：垃圾邮件识别（输入邮件内容，输出是/不是垃圾邮件）、房价预测。
• 无监督学习 (Unsupervised Learning)：模型从无标签的数据中寻找内在模式或结构。主要用于聚类和降维。
• 例子：客户细分、新闻主题分组。
• 强化学习 (Reinforcement Learning)：智能体通过与环境交互，根据获得的奖励或惩罚来学习最优策略。
• 例子：AlphaGo、机器人行走、游戏AI。

2、主要技术与策略 (Key Techniques & Strategies)

这些是为了解决核心范式中的特定挑战（如数据少、成本高、泛化差等）而发展出的重要方法。

• 半监督学习 (Semi-supervised Learning)：介于监督和无监督之间，同时使用大量无标签数据和少量有标签数据进行训练，以降低标注成本。
• 自监督学习 (Self-supervised Learning)：无监督学习的一种，其核心是自动从数据本身构造标签（预训练任务），让模型学习强大的特征表示，然后再用于下游任务。
• 对比学习 (Contrastive Learning)：是自监督学习中最成功的技术之一，通过比较数据点之间的相似性和差异性来学习表征。
• 迁移学习 (Transfer Learning)：将一个领域（源领域）学到的知识，迁移应用到另一个相关领域（目标领域），以节省训练资源和时间。
• 主动学习 (Active Learning)：一种策略，让模型自己选择“最有价值”的数据点去询问专家进行标注，旨在用最少的标注成本获得最佳性能。
• 集成学习 (Ensemble Learning)：通过构建并结合多个“弱学习器”来完成学习任务，以获得比单一模型更显著优越的泛化性能。如随机森林、AdaBoost。
• 元学习 (Meta-Learning)：又名“学会学习”，其目标是让模型掌握如何快速学习新任务的能力，即在大量任务上训练后，面对新任务只需少量样本就能快速适应。

3. 特定应用场景或框架 (Specific Application Scenarios or Frameworks)

这些是在特定约束或目标下形成的学习框架。

• 对抗学习 (Adversarial Learning)：
1. 最常见指“生成对抗网络”：让一个生成器和一个判别器相互对抗、共同进化，从而生成逼真的新数据。
2. 也指防御对抗性攻击的研究，即提高模型对恶意设计的输入（对抗样本）的鲁棒性。
• 联邦学习 (Federated Learning)：一种分布式机器学习框架，其目标是在保证数据隐私和安全的前提下，让多个参与方（如多个手机或医院）在不交换本地数据的情况下共同训练一个模型。

 

总结与分类表

为了更直观，我们可以用下表来归纳：

类别	名称	核心思想	要解决的关键问题
核心范式	监督学习	从有标签数据中学习映射关系	分类、回归等预测任务
	无监督学习	从无标签数据中发现结构	聚类、降维、关联规则
	强化学习	通过交互和奖励学习策略	决策序列问题，如游戏、控制
重要技术	半监督学习	少量标签+大量无标签数据结合	降低标注成本
	自监督学习	自己构造标签进行预训练	无监督地学习特征表示
	对比学习	通过对比相似与不相似样本来学习	（自监督学习的核心技术之一）
	迁移学习	复用已学知识到新任务	新任务数据少、训练慢
	主动学习	主动询问最有价值的样本进行标注	优化标注过程，降低成本
	集成学习	多个模型共同决策，优于单一模型	提高模型精度、稳定性、泛化能力
	元学习	学会如何学习，快速适应新任务	小样本学习问题
特定框架	对抗学习	模型之间相互对抗、竞争以进化	生成数据、提升模型鲁棒性
	联邦学习	数据不移动，模型移动的分布式训练	隐私保护、数据安全