摘要：Meta Learning（元学习） 元学习：学习如何学习：也是找一个函数，这个函数是学习算法，输出训练好的模型 假如教机器做了训练影像分类、影像识别等任务的模型，再去教机器训练语音识别的模型时，他可能学的更好，虽然语音和影像没有什么关系，但机器在多次的学习训练其他模型过程中，可能学到了如何去学习 阅读全文

摘要：Life Long Learning（机器终身学习） 是一个神经网络，用于学习多个任务 Selective Synaptic plasticity（选择性突触可塑性） 只让类神经网路中，某一些神经元或某些神经元间的连接具有可塑性（只有部分的连接是有可塑性的，有些连接必须被固化，不能改变或移动他的数值 阅读全文

摘要：Network Compression（神经网络收缩） 把硕大的模型缩小，因为很多时候需要把这些模型运用在有资源约束的环境下（例如：智能手表、无人机、自驾车） 把资料传在云端，在云端做运算，最后再把结果回传：这种方法的局限性就是传输会有时间差，如果需要做非常及时的回应，中间的时间差可能无法接收，并且 阅读全文

摘要：概述增强式学习（Reinforcement Learning） Supervised Learning（自监督学习）：告诉机器输入和输出，用有标注的训练资料训练出的Network Reinforcement Learning（增强式学习）：给机器一个输入，我们不知道最佳输出是什么（适用于标注困难或者 阅读全文

摘要：Domain Adaptation（领域自适应） 当测试材料和训练材料差异较大时，即使训练时正确率高，在测试中不一定高 例如：数字标识中，训练资料为黑白图片，测试资料为有色照片 在已经用灰白图片做好的模型，测试有色图片正确率低，可以收集有色图片（没有标注） 基本想法： 找一个Network（Feat 阅读全文

摘要：Adversarial Attack（对手的攻击） 把训练好的神经网络用在应用上，还需要让其输入人为的恶意行为，要在有人试图欺骗他的情况下得到高的正确率 例如：影像辨识，输入的图片加入一些杂讯（这些杂讯可能肉眼看不出来），使得输出错误，并输入某个指定的错误输出 无目标攻击：使输出结果与正确答案的差距 阅读全文

摘要：机器学习的可解释性Explainable ML 作用：基于机器学习的可解释性我们可以优化机器学习模型 线性模型虽然容易解释，但不够强大，深度学习的模型强大，但不容易解释 Explainable ML包括Local Explaination和Global Explaination： Local Exp 阅读全文

摘要：Auto Encoder（自编码器） Self Supervised Learning（自监督学习）：用没有标注的资料训练模型，发明不需要标注资料上的任务，例如：做填空题、预测下一个token（符号）；在BERT和GPT之前，有一种方法就是Auto Encoder Auto Encoder（自编码器 阅读全文

摘要：Self Supervised Learning（自监督学习） Supervised Learning（监督式学习）：训练资料有标注，通过有标注的资料训练Network Self Supervised Learning（自监督学习）：训练资料没有标注，将资料x分成x’和x’’两组，一部分x’作为模型 阅读全文

摘要：Network As Generator（网络作为生成器） 把Network当成生成使用；输入另加一个参数z，这个z为某个Distribution（分布）中抽取得来，不固定； z一般要简单，由于z不同，所以x的输出就由单一的输出变成一个复杂的Distribution（分布） 例如：x、z都为向量：输 阅读全文

摘要：Sequence To Sequence（序列对序列） 输入一个序列，输出一个序列 输出序列的长度由机器自己决定，例如：语音辨识、机器翻译、语音翻译 Sequence To Sequence一般分成两部分： Encoder:传入一个序列，由Encoder处理后传给Decoder Decoder:决定 阅读全文

摘要：self attention（自注意机制） 输入：以往神经网络的输入都是一个向量；如果现在输入的是一排向量，并且数量不唯一，应该如何处理： 例一：一句英文 One-hot Encoding：开一个长度为世界上全部词汇数的向量表示一个词汇（缺点：词汇间没关系） Word Embedding：给每个词汇 阅读全文

摘要：Convolutional Neural Network(CNN卷积神经网络) 解释一 应用于Image classification(图像分类) 一张图片如何作为一个模型的输入：一张图片可以当成三维的Tensor(维度大于等于2的矩阵)，三维分别代表图片：宽、高、channels(宽高代表像素，c 阅读全文

摘要：结果不理想的检查步骤 情况一：模型问题 所设的模型不包含要找的函数；需要重新修改模型 可以增加模型中特征值，或者增加层数(Deep Learning)，以增加模型的复杂度 情况二：优化(optimization)没做好 没有找到模型中解决问题的最好的方法 如何判断问题出自情况一还是二： 上图右边，5 阅读全文

摘要：Backpropagation(反向传播) Cn为计算得出值与实际值的差距 如何算出Cn对z的微分：由微分形式的不变性得，Z’为a的线性函数，可以得出Z’对a微分为w3 由于C(Z’，Z’’,…)是多元函数，链式求导法则得： 由反向计算，从右向左表示为： 计算微分时就从最右侧输出层反向向前求微分，每 阅读全文

摘要：机器学习是什么 机器学习就是让机器找出一个函数(Neural Network:神经网络) 例如输入语音，输出语音中的文字 输入：向量，矩阵（图片辨识。一张图片），序列（语音辨识，一段音频） 输出：数值，类别（分类），一段话/文章 机器学习的过程 1.猜测函数的大致形式为模型(带有未知参数的函数)：Y 阅读全文