模型参数与超参数

• 参数模型

 1. 参数作为模型从历史训练数据中学到的一部分，是机器学习算法的关键。

（1）统计学中的“参数”： 在统计学中，你可以假设一个变量的分布，比如高斯分布。高斯分布的两个参数分别是平均值（μ）和标准差（sigma）。这在机器学习中是有效的，其中这些参数可以用数据估计得到并用作预测模型的一部分。

（2）编程中的“参数”： 编程中可以将参数传递给函数。在这种情况下，参数是一个函数参数，可以有一个值范围。在机器学习中，您正在使用的具体模型就是函数，需要参数才能对新数据进行预测。

2. 参数与模型的关系

（1）根据经典的机器学习文献，可以将模型看作假设，而参数是根据特定的数据集对假设进行的具体调整。

（2）简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。模型参数的特征：

• 进行模型预测时需要模型参数。

• 模型参数值可以定义模型功能。

• 模型参数用数据估计或数据学习得到。

• 模型参数一般不由实践者手动设置。

• 模型参数通常作为学习模型的一部分保存。

（3）通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。模型参数的一些例子包括：

• 人造神经网络中的权重。

• 支持向量机中的支持向量。

• 线性回归或逻辑回归中的系数。

• 超参数模型

1. 模型超参数是模型外部的配置，其值不能从数据估计得到。具体特征有：

• 模型超参数常应用于估计模型参数的过程中。

• 模型超参数通常由实践者直接指定。

• 模型超参数通常可以使用启发式方法来设置。

• 模型超参数通常根据给定的预测建模问题而调整。

（2）怎样得到它的最优值：对于给定的问题，我们无法知道模型超参数的最优值。但我们可以使用经验法则来探寻其最优值，或复制用于其他问题的值，也可以通过反复试验的方法。

模型超参数的一些例子包括：

• 训练神经网络的学习速率。

• 支持向量机的C和sigma超参数。

• k邻域中的k。

• 模型参数与模型超参数之间的关系

1. 二者的联系：

 

　　当针对特定问题调整机器学习算法时，例如在使用网格搜索或随机搜索时，你将调整模型或命令的超参数，以发现一个可以使模型预测最熟练的模型参数。许多模型中重要的参数无法直接从数据中估计得到。例如，在K近邻分类模型中…这种类型的模型参数被称为调整参数，因为没有可用的分析公式来为其计算一个合适的值。

2. 二者的区分：

　　模型超参数通常被称为模型参数，这种叫法很容易让人产生误解。解决这个问题的一个很好的经验法则如下：如果你必须手动指定一个“模型参数”，那么它可能就是一个模型超参数。