神经网络中常用的函数

1、激活函数：

　　F.relu(x)：ReLU（Rectified Linear Unit）激活函数，将输入 x 的所有负值置为0，正值保持不变。

　　F.sigmoid(x)：Sigmoid激活函数，将输入 x 映射到(0, 1)区间。

　　F.tanh(x)：双曲正切激活函数，将输入 x 映射到(-1, 1)区间。

2、池化函数：

　　F.max_pool1d(input, kernel_size, stride=None, padding=0, ...)：一维最大池化操作。1*2  2化1

　　F.max_pool2d(input, kernel_size, stride=None, padding=0, ...)：二维最大池化操作，常用于图像数据。2*2  4化1

　　F.avg_pool1d(input, kernel_size, stride=None, padding=0, ...)：一维平均池化操作。

　　F.avg_pool2d(input, kernel_size, stride=None, padding=0, ...)：二维平均池化操作。                                            一维二维？

3、归一化函数：

　　F.batch_norm(input, running_mean, running_var, weight=None, bias=None, ...)：批量归一化操作，用于加速训练过程并提高模型性能。

4、损失函数（虽然通常作为 nn.Module 的一部分使用，但某些简单的损失函数也包含在 F 中）：

　　F.mse_loss(input, target, size_average=None, reduce=None, reduction='mean')：均方误差损失函数。

　　F.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')：交叉熵损失函数，但通常与 nn.LogSoftmax 结合使用，或直接使用 nn.CrossEntropyLoss。　　 5、 卷积函数

　　F.conv1d(input, weight, bias=None, stride=1, padding=0, ...)：一维卷积操作。

　　F.conv2d(input, weight, bias=None, stride=1, padding=0, ...)：二维卷积操作，常用于图像数据。

　　F.conv3d(input, weight, bias=None, stride=1, padding=0, ...)：三维卷积操作。

　　F.conv_transpose1d、F.conv_transpose2d、F.conv_transpose3d：转置卷积（也称为去卷积或分数步长卷积），用于上采样。

6、其他函数　

• F.pad(input, pad, mode='constant', value=0)：对输入 input 进行填充操作。
• F.interpolate(input, size=None, scale_factor=None, mode='nearest', ...)：对输入 input 进行上采样或下采样操作。
• F.grid_sample(input, grid, mode='bilinear', padding_mode='zeros')：根据给定的采样网格 grid 对输入 input 进行采样。