摘要：
seq2seq模型：比如翻译 可分成编码器（Encoder）和译码器（Decoder）两部分 前面这个RNN （可以是GRU或LSTM ）输出一个向量 然后 后面部分 每次输出一个翻译后的单词 别忘这也是监督学习啊 有翻译过的真实句子 和后面解码网路算loss 类似的img2seq图像描述 还是卷积 阅读全文
posted @ 2018-11-15 18:18
Hello蛋筒
阅读(196)
评论(0)
推荐(0)
摘要：
之前用词库然后一直one-hot表示单词 这样会使得算法泛化性不强 即使知道第一空怎么填了 第二个空还是不知道 因为从one-hot这种编码方式还是不知道橘子和苹果的关系 任何两个内积都是0 这些词向量距离都一样 换种方式表示词 词嵌入（Word Embedding）嵌入就是把每个词变成一个点 嵌入 阅读全文
posted @ 2018-11-15 18:16
Hello蛋筒
阅读(156)
评论(0)
推荐(0)
摘要：
3 Sequence models & Attention mechanism.notehttp://colah.github.io/posts/2015-08-Understanding-LSTMs/ 时间序列数据是指在不同时间点上收集到的数据，这类数据反映某一事物现象等随时间的变化状态或程度。 阅读全文
posted @ 2018-11-15 18:15
Hello蛋筒
阅读(161)
评论(0)
推荐(0)
摘要：
目标定位：之前判断是不是一个车 现在还要在图中框出来（确定在图中的位置）可以包含多个对象 之前softmax是分类的 现在可以让他比如 输出四个数字 表示这个物体的位置 训练样本里就包含这四个数字 标签Y的定义 第一个数PC表示是否有物体 然后是四个坐标 最后三个参数表示属于哪一个物体onehot 阅读全文
posted @ 2018-11-15 18:14
Hello蛋筒
阅读(102)
评论(0)
推荐(0)
摘要：
人脸验证：输入照片以及id 1v1的问题看是否相符即可 这里比如需要扫描的ID卡 他1V1比对 人脸识别：拥有多人数据库，这里不需要ID卡 直接人走过来 看在不在数据库里 1v多 错误率放大N倍 一次学习one-shot learning，因为比如人脸识别 往往只有一个照片 需要通过一个样例就来学习 阅读全文
posted @ 2018-11-15 18:14
Hello蛋筒
阅读(154)
评论(0)
推荐(0)
摘要：
一些经典CNN方面网络: LeNet-5 AlexNet VGG LeNet-5：90年代 当时使用的更多的是平均池化 不用padding 大概6万个参数 这个模型里面 通道数量（第三维）在逐渐增加 越来越长了 高和宽越来越小了 这里多个卷积后面跟个池化这个现在还用 当时池化后进行了sigmoid函 阅读全文
posted @ 2018-11-15 18:13
Hello蛋筒
阅读(172)
评论(0)
推荐(0)
摘要：
一般情况下 一张分辨率高点的图片就是1000*1000*3维的放在矩阵里3百万啊一列 假设第一层隐藏单元是1000个 那么就是1000*3百万的矩阵 太大了 w1就是3百万 （1000隐藏层，1000*1000*3 输入层）=30亿个参数 所以就要用到卷积了 w*x 1边缘检测：别忘了一般都是低层次 阅读全文
posted @ 2018-11-15 18:12
Hello蛋筒
阅读(152)
评论(0)
推荐(0)
摘要：
误差分析：算法还没达到人类水准 人工看误差中错误的是什么 识别猫的，假设100个错误中只有几个误判为狗的 就不考虑单独为狗再做个训练 但是错误中一半都是狗的 可以集中精力优化狗的 专门加点狗的进去 只看错误的 统计一下能让你心里有数 对性能提升 心里有个数 选出最重要的方向 或者看看提升空间 清理数 阅读全文
posted @ 2018-11-15 18:11
Hello蛋筒
阅读(138)
评论(0)
推荐(0)
摘要：
分析与改进项目瓶颈：很多时候可能不知道下一步怎么改善系统，错误的方法浪费大量时间 有这么多策略 怎么试 思维清晰知道要调整哪个参数 这些参数就像按钮一样啊 正交法：让各种功能按钮能够分开 比如开车时候速度和方向 一个按钮结合了其他按钮的功能，很难调好。正交就是使得每个按钮调整一个功能 一个维度调一个 阅读全文
posted @ 2018-11-15 18:10
Hello蛋筒
阅读(105)
评论(0)
推荐(0)
摘要：
1调试参数 重要性 红黄紫 指导原则：alpha学习速率 β是动量里那个 adam里β1、2 Σ一般不用调试 以前参数少时候 比如俩参数 就网格一样 每个依次试一试 现在深度学习 参数太多 也不知道哪个重要 就随机试 比如左边的两个轴分别是α和Σ 在左图中可能按顺序试验最左侧列5个值 结果可能都一样 阅读全文
posted @ 2018-11-15 18:09
Hello蛋筒
阅读(217)
评论(0)
推荐(0)
浙公网安备 33010602011771号