摘要： 分类猫和狗 使用一个还不错的相机采集图片(12M) RGB figure 36M 元素 使用100大小的单隐藏层MLP 模型有3.6B = 14GB 元素 远多于世界上所有的猫狗总数(900M dog 600M cat) 两个原则 平移不变性 局部性 重新考察全连接层 将输入和输出变形为矩阵（宽度， 阅读全文

摘要： Derivative Rules $$ \begin{aligned} &\frac{\delta E}{\delta w^1_{jk}}=\frac{\delta E}{\delta O_k^1}\frac{\delta O_k^1}{\delta w^1_{jk}}=\frac{\delta E 阅读全文

摘要： 单层感知机 $$ \begin{aligned} & y = XW + b \ & y = \sum x_i*w_i+b\ \end{aligned} $$ Derivative $$ \begin{aligned} &E=\frac{1}{2}(O^1_0-t)^2\ &\frac{\delta 阅读全文

摘要： Entropy Uncetainly measure of surprise higher entropy = less info $$Entropy = -\sum_i P(i)\log P(i)$$ Lottery import torch a = torch.full([4], 1/4.) a 阅读全文

摘要： import torch import torch.nn.functional as F import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch 阅读全文