课程——《深度学习的优化方法》

原文：台大喊你来上课，深度学习优化，免费的哟

 

课程链接：

　　https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2021/

 

 

Optimization Methods for Deep Learning

 

 

Slides and recordings

This section (and slides) will be continuously updated.

• Course information ( video )
• Optimization problems for deep learning
  • Linear classification ( part 1: slides video )
  • Fully-connected networks ( part 1: slides video )
  • Convolutional networks ( part 1: slides video part 2: slides video part 3: slides video part 4: slides video )
• Stochastic gradient methods for deep learning
  • Gradient descent ( part 1: slides video )
  • Stochastic gradient methods ( part 1: slides video part 2: slides video )
  • a note on different momentum update rules: slides
• Gradient calculation
  • Vector form ( part 1: slides video )
  • Gradient calculation ( part 1: slides video part 2: slides video part 3: slides video )
• Implementation
  • part 1: slides video
  • We will partially cover two sets of slides from the course "numerical methods" ( part 1: slides video part 2: slides video )
  • part 2: slides video 1 video 2 video 3
  • part 3: slides video
• Automatic differentiation
  • part 1: slides video
  • part 2: slides video
• Newton method
  • Basic ( part 1: slides video part 2: slides video )
  • Algorithms ( part 1: slides video part 2: slides video part 3: slides video )
  • Gauss Newton matrix-vector product (
    • slides
    • Using only backward process ( videos: part1, part2, part3, part4, part5 )
    • Using forward and backward processes ( videos: part1, part2, part3 )

---

Projects

• Project 1: simple experiments using SG methods. Presentation: March 15. Discussion.
• Project 2: more experiments on SG methods. Presentation: March 29. Discussion.
• Project 3: checking running time of major operations. Presentation: April 19. Discussion.
• Project 4: Making the MATLAB Implementation Competitive with Tensorflow. Presentation: May 10. Discussion.
• Project 5: An investigation of Python profilers. Presentation: June 7
• Project 6: Robustness of newton methods and running time analysis. Presentation: June 21

Some explanation: we do not have a final exam, so the class should end on 6/14, which is a holiday. To give you more time on doing the project, the decision is to run the project 6 presentation on 6/21 and we decide not to have a class on 5/31.

 

Course Outline

Deep learning involves a difficult non-convex optimization problem. The goal of this course is to study the implementation of optimization methods for deep learning. We will run this course in the following formats:

• lectures (by the instructor)
• project presentations (by students): we will have many.

For potential students: you want to make sure that you are interested in optimization for deep learning.

We will heavily use the software simpleNN

Among the various types of networks, we will pay more attention to CNN.

You will get hands-on experiences in implementing a deep learning code

 

 

• Instructor: Chih-Jen Lin, Room 413, CSIE Building.
  The best way to contact me is via e-mails.
• TA: Cheng-Hung Liu (email: d07944009 at ntu.edu.tw) and Li-Chung Lin (email: r08922141 at ntu.edu.tw). TA hour: Wed. 14:00 ~ 15:00 online

  Your HW/exam scores will be here

• Time: Monday 10:20am-1pm
  We will do two 10-minute breaks at around 11:10am and 12:10pm. The class ends at 1pm.
  

  Place: room 105, CSIE building

• FAQ of this course
• This is an advanced course. We expect to take 15 to 20 students
• We will pre-record most lectures and broadcast them in the class. In the class I will give additional comments while the video is being played.

涉及的课程内容包括了深度学习的非凸优化问题，主要就是解决优化深度学习的难题。

 

这次的课程是 2021 春季版，授课教师是林智仁教授。

　　这门课没有期末考试，纯粹以项目来评分。

　　之前的课程的视频和 PPT 都已上传，所有课程都会在 6 月 14 号结束，现课程已面向全网开放。

 

而至于你们关心的，上完这门课程，你会获得什么？

　　首先，当然是深度学习优化的基础知识。

　　其次，课程将大量使用 simpleNN 软件。

　　在各种类型的网络中，课程将主要集中使用 CNN，有利于帮助你学习 CNN。

　　除此之外，学习这门课程，还能获得深度学习代码的动手实践经验。

 

老师表示，当然你得对优化和深度学习这两个领域有基本的了解。

　　至于所需要的技能，如果你之前了解 Python 和 Matlab / Octave，那当然是极好的。

　　都有哪些课程？

　　本次的课程，课程将包括老师讲课和一些学生进行项目介绍展示。

　　一共有 6 讲。

　　具体课程包括：

　　1. 深度学习的优化问题

　　a.线性分类

　　b.完全连接的网络

　　c.卷积网络

　　2. 深度学习的随机梯度方法

　　a.梯度下降

　　b.随机梯度法

　　c.关于不同动量更新规则的说明

　　3. 梯度计算

　　a.矢量形式

　　b.梯度计算

　　4. 执行

　　5. 自动区分

　　6. 牛顿法

　　a.基本知识

　　b.算法

　　c.高斯牛顿矩阵-矢量积

　　i.只使用落后工艺

　　ii.使用前进和后退过程

　　当然啦，除此之外，还有刚才提到的一些学生“项目展示”方面的内容。

 

 

教师团队

　　本次课程主要的指导老师，是林智仁教授。

　　他是密歇根大学博士，台湾大学计算机科学和信息工程系教授。

　　主要研究领域包括：

　　机器学习：

　　支持向量机（SVM），大规模数据分类和机器学习软件设计。

　　运筹学：

　　大规模非线性优化。

　　除此之外，还有助教团队将与你“并肩作战”。

　　包括了 Cheng-Hung Liu 和 Li-Chung Lin 。