学习资源

LECTURE/COURSE

机器学习（Machine Learning）

1. 资源：

　　(1) 斯坦福大学公开课-机器学习-Andrew Ng

　　　　http://cs229.stanford.edu/

　　　　https://www.coursera.org/course/ml

　　　　http://v.163.com/special/opencourse/machinelearning.html

　　(2) 清华大学-本科生课程-机器学习-张敏

　　(3) 清华大学-研究生课程-高级机器学习-唐杰&朱军：http://arnetminer.org/mlcourse2012

数据挖掘（Data Mining）

1. 资源：

　　(1) 《数据挖掘：概念与技术》：http://www.cs.uiuc.edu/~hanj/bk3/

　　(2) 《大数据：互联网大规模数据挖掘与分布式处理》：http://i.stanford.edu/~ullman/mmds.html

　　(3) Top 10 Algorithms in Data Mining: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.144.5575

信息检索（Information Retrieval）

1. 资源：

　　(1) 清华大学-本科生课程-信息检索-孙茂松

　　(2) 中科院计算所-信息检索导论-王斌：http://ir.ict.ac.cn/ircourse/

　　(3) Stanford-IR cs276

　　　　http://nlp.stanford.edu/IR-book/

　　　　http://www.stanford.edu/class/cs276/

自然语言处理（Natural Language Processing） 

1. 资源：

　　(1) 我爱自然语言处理博客：http://www.52nlp.cn/

 

算法（Algorithms）

1. Princeton booksites: http://algs4.cs.princeton.edu/home/

 

 

---

TOPIC

Regression: 回归

　　Wikipedia： http://en.wikipedia.org/wiki/Regression

　　博客园-JerryLead：http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html

Gradient Descent: 梯度下降

　　Wikipedia：http://en.wikipedia.org/wiki/Gradient_descent

　　Wikipedia：http://zh.wikipedia.org/zh/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95

　　博客园-LeftNotEasy：http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html

　　Andrew Ng课件：http://cs229.stanford.edu/notes/cs229-notes1.pdf

　　http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node87.html

　　http://mathworld.wolfram.com/MethodofSteepestDescent.html

　　http://homepages.cwi.nl/~hasselt/papers/RL_in_Continuous_Spaces/Gradient_Descent.html

　　1. Stochastic Gradient Descent(SGD)：随机梯度下降

　　　　(1) 对参数随着样本训练，一个一个进行即时update的方式。

　　　　(2) 随机梯度下降常用于大规模训练集，但是往往收敛到局部最优解。

　　　　Wikipedia：http://en.wikipedia.org/wiki/Stochastic_gradient_descent

　　2. Projected Gradient Descent: 投影梯度下降

　　3. Batch Gradient Descent: 批量梯度下降

　　　　(1) 对参数的update进行累积，然后进行批量更新。

　　　　(2) 批量梯度下降用于在已知整个训练集的情形下，但是对于大规模数据并不合适。

　　　　http://axon.cs.byu.edu/papers/Wilson.nn03.batch.pdf　

　　4. Incremental Gradient Descent：增量梯度下降

 

特征选择 Feature Selection

1. grafting：

　　https://www.google.com.hk/#hl=zh-CN&newwindow=1&safe=strict&tbo=d&site=&source=hp&q=feature+selection++grafting&oq=feature+selection++grafting&gs_l=hp.3..0i8i30l2.2566.13022.0.14068.37.29.3.5.5.1.278.3678.0j18j4.22.0...0.0...1c.1.Mrn9Rzb02cY&bav=on.2,or.r_gc.r_pw.&bvm=bv.1357700187,d.dGI&fp=16ca8e5436e5cdb6&biw=1440&bih=799

2. 。。。

最优化

凸优化、数值优化

http://vdisk.weibo.com/s/bKlOY/1346646705