凸函数和非凸函数

三、凸函数与非凸函数的对比

特性	凸函数	非凸函数
极值点	最多一个全局最小值（可能有多个点取到）	多个局部最小值 + 可能有全局最小值
优化难度	低（梯度下降等算法可稳定找到全局最优）	高（易陷入局部最优，需复杂策略）
机器学习中的应用	线性模型（线性回归、逻辑回归）	非线性模型（神经网络、决策树）
图像特征	整体 “下凸”，无凸起区域	可能有凸起、凹陷、鞍点等复杂结构

四、在机器学习中的意义

• 凸函数场景：如线性回归、支持向量机（SVM），由于损失函数是凸的，优化算法（如梯度下降）能稳定收敛到全局最优，模型训练更可靠。
• 非凸函数场景：如深度学习，尽管损失函数是非凸的，但通过大规模数据、深度网络结构和优化算法改进（如 Adam、批量归一化），模型仍能学习到有效特征（即使未达到全局最优，局部最优也可能满足需求）。

总结

凸函数的核心优势是 “全局最优可解”，而非凸函数因存在局部最优导致优化难度增加。在机器学习中，需根据问题选择合适的模型（凸或非凸），并针对性设计优化策略 —— 凸函数问题追求稳定收敛，非凸函数问题则需平衡效率与全局最优的近似程度。