NTU ML2023Spring Part3.2 Classification

License: CC BY-NC-SA 4.0

开始实操。不得不说 Google Colab 真好用（白嫖 GPU），除了网络问题很难受。

如果直接按照给的代码跑会得到 0.5 的高分，于是我在 BasicBlock 里加了一层 nn.BatchNorm1d(input_dim)。

虽然它说 apply batch normalization and dropout for strong baseline.，但是如果你真的同时加了 BatchNorm 和 Dropout 反而会训不起来。把 Dropout 删了就可以得到 0.6 的高分。

接下来就是化身为调参侠开始一通玄学调。发现把 hidden layers 增多并把 hidden dim 增大到 128 会增大 acc.

Colab 时不时断连有点难受，魔法不稳定导致的。

hidden dim 增大到 256 时出现了过拟合，train acc 为 0.697，val acc 为 0.636. 这时候重新加入 dropout 就会降低过拟合。

发现还是 hyper parameter 调起来好用，concat_nframes 从 7 调到 13 之后 accuracy 显著上升。然后又调到 21.