机器学习第一次作业
机器学习领域前沿技术——深度学习
深度学习是机器学习研究中的一个领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
深度学习的基本思想
在课程中我们学习过，要给样本分类，首先得总结出一个或多个特征，根据特征将样本表示出来，然后再通过不同算法来分类。特征选取得好坏对最终结果的影响非常巨大。因此，选取什么特征对于解决一个实际问题非常的重要。
然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和运气；那么能不能自动地学习一些特征呢？答案是能！深度学习就是用来干这个事情的，看它的一个别名Unsupervised Feature Learning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。因此，自动地学习特征的方法，统称为深度学习。
假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。
另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。
深度学习的应用
- 计算机视觉
香港中文大学的多媒体实验室是最早应用深度学习进行计算机视觉研究的华人团队。在世界级人工智能竞赛LFW（大规模人脸识别竞赛）上，该实验室曾力压FaceBook夺得冠军，使得人工智能在该领域的识别能力首次超越真人。
- 语音识别
微软研究人员通过与hinton合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。
在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。
国内方面，阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。
- 自然语言处理等其他领域
很多机构在开展研究，2013年，Tomas Mikolov，Kai Chen，Greg Corrado，Jeffrey Dean发表论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型，与传统的词袋模型（bag of words）相比，word2vector能够更好地表达语法信息。深度学习在自然语言处理等领域主要应用于机器翻译以及语义挖掘等方面。
国内机器学习领域的发展
百度大脑
百度大脑的四大功能，分别是语音、图像，自然语言处理和用户画像这四大能力：
语音的能力:包括语音识别能力和语音合成能力。
图像的能力:图像能力指的是看到一个图片，不仅能看得见，还能看得懂。按照技术界的说法，它应该是计算机视觉。
自然语言处理能力:自然语言处理能力比语音和图像更难。语音和图像技术更多还处在认知的阶段，而自然语言理解除了要有认知能力之外，还需要逻辑推理能力、规划能力等等，同时也需要依赖于更为强大的知识图谱。
用户画像:用户画像在传统的AI中并不是主流。但是今天，我们每时每刻都可以收集很多很多和用户行为相关的数据，就可以对用户做很好的画像，而这里面使用的技术又基本上都是与人工智能相关的。
腾讯AI Lab
腾讯AI Lab成立于2016年，团队主要分布在在深圳、西雅图和北京。腾讯AI Lab研究主攻四个方向，包括机器学习、计算机视觉、语音识别与自然语言处理；应用也主要是四个方向，包括社交、内容、游戏和平台型AI+X。2017年3月19日，腾讯人工智能实验室AI Lab研发的围棋AI程序“绝艺”在第十届日本UEC杯计算机围棋大赛中夺冠，成为当时国内AI界讨论的热点。
存在的瓶颈
- 经验。机器学习的方法对于一般的工程师并不友好，如果没有了解原理和做过一些实验，这就是一个参数很多的黑盒，弄不好效果就会很差。
- 数据量。效果好的方法大都是有监督训练的，这就需要很多标注数据，数据的质量、归一化方法、分布等，对模型的效果都影响很大。
- 计算能力。很多模型，特别是深度学习模型，训练时间和资源消耗很大，如果需要多次训练调整策略和参数，周期很长。实际部署运行速度也受模型大小和种类影响，速度和效果会有一个权衡。
- 工程实现能力。好的算法要有好的工程实现，才能发挥正常的作用，代码能力不行，再好的模型也不行。
- 算法搭配。实际问题往往不是一个单一的算法可以搞定的，需要多个相关算法合理的搭配组合，具体问题具体分析解决。
