随笔分类 - deep learning & NN
摘要：1. 背景介绍 文本情感分析是在文本分析领域的典型任务，实用价值很高。本模型是第一个上手实现的深度学习模型，目的是对深度学习做一个初步的了解，并入门深度学习在文本分析领域的应用。在进行模型的上手实现之前，已学习了吴恩达的机器学习和深度学习的课程，对理论有了一定的了解，感觉需要来动手实现一下了。git
阅读全文
摘要：本文主要为机器学习基础 训练，验证，测试 集 一般6，2,2，如果测试有100万数据，也可以98:1:1，确保来自于同一分布 欠拟合，过拟合，适度拟合 如果训练集误差1%，验证集11%，过拟合，称为“高方差”如果训练集15%，验证集16%，称为“高偏差”，可能两个都有也可能两个都没有 正则化： 高方
阅读全文
摘要：有一些函数，只有非常深的神经网络能学会，而更浅的模型则不行 所以先去尝试逻辑回归，尝试一层然后两层隐含层，然后把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估，或者用你的开发集来评估。 超参数：比如算法中的learning rate （学习率）、iterations(
阅读全文
摘要：输入层，隐藏层，输出层 可以将多个输入向量生成一个矩阵作为输入，一次输出就能算出多个输入的输出。 激活函数：sigmoid，tanh（更有效），ReLU，，不能在隐藏层用线性的激活函数 正向传播和反向传播，公式 权重要随机初始化，通常会是比较小的值，有必要的话还需要多随机几次
阅读全文
摘要：神经网络的编程基础 损失函数: 逻辑回归中拥到的为 然后成本函数J(w,b)为m个样本的损失函数求平均，最终结果希望损失J尽可能小，其对每个位置的偏导为其权重 向量化： 向量化是一个重点，可以很大程度上减少需要的时间避免for循环 这一部分最主要的是使用一些库函数的api进行的 如逻辑回归上的向量化
阅读全文
摘要：卷积网络(CNN)通常用于图像数据。递归神经网络(RNN)非常适合一维序列，数据可能是一个时间组成部分。计算机理解非结构化数据相对更难，如音频，图像像素值或文本中的单个单词。如今最可靠的方法来在神经网络上获得更好的性能，往往就是要么训练一个更大的神经网络，要么投入更多的数据，仅仅通过将Sigmoid
阅读全文
浙公网安备 33010602011771号