摘要：
两种方法：保存和加载参数 和 保存加载整个模型 保存和加载参数 #保存 torch.save(model.state_dict,PATH) #PATH推荐格式为.pt #加载 model=TheModelClass(*args, **kwargs ) model.load_state_dict(to 阅读全文
摘要：
优化算法对于深度学习非常重要。一方面，训练复杂的深度学习模型可能需要数小时、几天甚至数周。优化算法的性能直接影响模型的训练效率。另一方面，了解不同优化算法的原则及其超参数的作用将使我们能够以有针对性的方式调整超参数，以提高深度学习模型的性能。 11.1. 优化和深度学习 对于深度学习问题，我们通常会 阅读全文
摘要：
10.1. 注意力提示 考虑一个相对简单的状况， 即只使用非自主性提示。 要想将选择偏向于感官输入， 则可以简单地使用参数化的全连接层， 甚至是非参数化的最大汇聚层或平均汇聚层。 在注意力机制的背景下，自主性提示被称为查询（query）。 给定任何查询，注意力机制通过注意力汇聚（attention 阅读全文
摘要：
例如，循环神经网络在实践中一个常见问题是数值不稳定性。 尽管我们已经应用了梯度裁剪等技巧来缓解这个问题， 但是仍需要通过设计更复杂的序列模型来进一步处理它。 具体来说，我们将引入两个广泛使用的网络， 即门控循环单元（gated recurrent units，GRU）和 长短期记忆网络（long s 阅读全文
摘要：
图论简介： 图（Graph） 图可以被表示为 G={V, E}，其中 V={v1, ... , vN}表示n个点，E= {e1, ... , eM}表示m条边。 常用的储存方式包括邻接表和邻接矩阵。 连通分量（Connected Component）：各节点间至少存在一条边可以连通。 图的最短路入门 阅读全文
摘要：
本章的循环神经网络（recurrent neural network，RNN）可以更好地处理序列信息。 循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。许多使用循环网络的例子都是基于文本数据的，因此我们将在本章中重点介绍语言模型。 8.1. 序列模型 为了实现对下一时 阅读全文
摘要：
之前没了解过硬件，更没听过开发板。但最近可能会用到，所以看了一些视频和资料，简单梳理一下： 开发板（demoboard）是用于嵌入式系统开发的电路板，Arduino编程语言及芯片，树莓派的操作系统，正点原子以及昇腾的生态等等都很出名。之前厂家面向企业生产，最近好多个人用户也开始使用。开发板与个人计算 阅读全文
摘要：
剪枝是去除搜索树当中不必要的搜索路径，从而优化算法，降低时间开销。 常见的剪枝包括： 1可行性剪枝 2排除等效剪枝 3最优性剪枝 4顺序剪枝 5记忆化剪枝 下面将一一举例介绍其原理： 1可行性剪枝 在寻找所有的解决方案时，若某种方案明显不可行/无法找到答案，则停止继续搜索。 2排除等效剪枝 当该方案 阅读全文
摘要：
RuntimeError: Given input size: (128x1x1). Calculated output size: (128x0x0). Output size is too small 问题原因： 在池化层之前，我的图像就变成1x1的了，使用池化层就出错了 阅读全文
摘要：
本地电脑木得GPU，自己CPU训练模型贼慢，于是打算来colab训练 我本来是这样导入 !pip install d2l 结果导入很慢，等待时间过长，就去网上搜了搜 !pip install d2l==0.14 加了版本号就变得很快了。但是似乎某些函数是在0.16里才有 !pip install d 阅读全文