FromZeroToOne - 博客园

2019年11月13日

摘要： 1 正则化 2 Dropout 3 BatchNormalization "参考链接" 阅读全文

posted @ 2019-11-13 11:14 FromZeroToOne 阅读(138) 评论(0) 推荐(0)

2019年10月31日

摘要：数据操作保存与读取文件 df.to_csv("fasttext_data.csv",sep="\t",header=None,index=None) 忽略行号和列号 pd.read_excel(header=None) 设置第一行不为索引 pd.read_excel(names=[名字列表]) 为阅读全文

posted @ 2019-10-31 16:27 FromZeroToOne 阅读(123) 评论(0) 推荐(0)

2019年10月29日

pytorch 调参小结

摘要： learning rate 和keras的参数不一样 SGD的在0.5左右 Adam的在0.01左右训练数据一定要打乱测试数据不用打乱阅读全文

posted @ 2019-10-29 14:14 FromZeroToOne 阅读(829) 评论(0) 推荐(0)

2019年10月14日

英文论文阅读笔记

该文被密码保护。阅读全文

posted @ 2019-10-14 16:42 FromZeroToOne 阅读(4) 评论(0) 推荐(0)

2019年10月12日

自注意力机制总结

摘要：假设现在有一个句子（s1,s2,s3）,v是s的转置第一个词和每一个词的内积相似度越大结果越大 s1 v1 s1 v2 s1 v3 第二个词和每一个词的内积 s2 v1 s2 v1 s2 v3 第三个词和每一个词的内积 s3 v1 s3 v2 s3v3 横向在每一行内做softmax可以得到每阅读全文

posted @ 2019-10-12 21:03 FromZeroToOne 阅读(2754) 评论(0) 推荐(0)

2019年10月9日

keras调参经验

摘要：调参技巧层叠LSTM的层时尽量保持两个隐藏层个数一致收敛的快的多两层LSTM比一层好很多激活函数很重要 relu通常效果比较好 "激活函数使用笔记" "激活函数介绍" 学习率太大(0.02),记得要是0.001数量级的学习率，否则直接不收敛，因此学习率不要太大，越小越好正则化参数 L1正阅读全文

posted @ 2019-10-09 18:27 FromZeroToOne 阅读(2133) 评论(0) 推荐(0)

2019年10月8日

生成器

摘要：生成器生成器函数在一个函数体内使用表达式会使这个函数变成一个生成器，该函数为生成器函数。当一个生成器函数被调用的时候，它返回一个迭代器，称为生成器。结论：生成器用于生成提供迭代数据。所有生成器都是迭代器。迭代器用于遍历集合。生成器能做到迭代器能做的所有事，而且因为自动创建和`n 阅读全文

posted @ 2019-10-08 00:11 FromZeroToOne 阅读(129) 评论(0) 推荐(0)

2019年10月6日

handcraft笔记

摘要：变量定义尽量靠近使用当一个函数返回多个变量时，使用_忽略多返回的值，或者使用dict返回阅读全文

posted @ 2019-10-06 23:53 FromZeroToOne 阅读(121) 评论(0) 推荐(0)

2019年10月5日

counter的使用

摘要： "参考博客" 阅读全文