NTU ML2023Spring Part2.17 完结撒花

一路走来，我们学了什么？

深度学习就是找一个函数，但它不能是线性的．根据应用场景不同，输入还可以是 matrix, sequence 之类的东西．

后半段还学了一些进阶主题：GAN, BERT, RL, domain adaptation, attack, explainable, network compression, life-long learning, meta learning.

看似学了很多，其实只是入门．更广阔的领域，仍有待我们深入探索．

为什么有的作业要 train 数个小时才能完成？为什么做作业时感觉在「通灵」，不知道到底在做什么？LHY 的解答是：这不是 bug，这是 feature．这门课像是疫苗，帮助你在未来面对更大的挑战．

我保留了一些折磨的地方，这样你才知道你做的是 ML（这好像也已经成陈年老梗了）．

最后 LHY 放上了一篇改编的古文：

台湾大学有二生，其一贫，其一富．

贫者语于富者曰：「吾欲修李宏毅《机器学习》，何如？」

富者曰：「子何恃而 train？」

曰：「吾 colab 足矣．」

富者曰：「吾数年来欲买 V100 而修，犹未能也．子何恃而 train？」

越一学期，贫者完成不止十个作业，以告富者，富者有惭色．

现在看来，我就是那个没有显卡还想学 ML 的贫者．从 2024.12 到 2025.6，在半年的空余时间里学完了这门课．一开始对 colab 和 kaggle 一无所知，用手机挂机一晚上硬是训练出来一个小模型．后来知道了 kaggle 会在 notebook 运行完成或失败后给你发邮件，也知道了 colab 上的 gemini 可以提供代码补全和 debug．

在这门课用 kaggle 提交的作业中，我的成绩一直在 simple 和 medium 上下挣扎．一方面是因为自己不愿去花精力读论文，实现更复杂的算法；另一方面也有「反正我没有真的修这门课，作业不做也无所谓」的想法．做完这些作业，我最深刻的印象就是把网络层数调大，参数量调大，做点 data augmentation，epoch 调大，基本上就可以从 simple 上升到 medium．当然也有效果不好的时候．到后期基本上开始放弃思考，使用 AI 补全来跳过查找资料的过程．因此，这个课程可以说被我上成了通识课，只是走马观花地看了路边的风景，而没有停下来细细观察．

完结撒花！