随笔分类 -  深度学习

Macbook m1 with conda-forge安装package报错和解决
摘要：持续更新~ 1.以TensorFlow为例 1.1 报错1：zsh: illegal hardware instruction 实验环境：macOS Big Sur 11.5.1 + anaconda3 + python3.8 直接用 pip install tensorflow 安装，能够顺利安装 阅读全文
posted @ 2021-09-28 19:10 MissHsu 阅读(2638) 评论(0) 推荐(0)
文本分类应用
摘要：文本分类应用 1.1 讽刺检测 Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Model. ACL 2019 论文来源：ACL 2019 论文链接：https://www.aclweb.org/anthology/ 阅读全文
posted @ 2021-05-07 10:12 MissHsu 阅读(397) 评论(0) 推荐(0)
对Skip-Gram模型优化扩展
摘要：对Skip-Gram模型优化扩展 论文解读：Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean. Distributed Representations of Words and Phrases and their 阅读全文
posted @ 2021-05-07 10:01 MissHsu 阅读(463) 评论(0) 推荐(0)
Paper：Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection
摘要：Paper：Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection 论文：Generating Hierarchical Explanations on Text Cl 阅读全文
posted @ 2021-05-07 09:46 MissHsu 阅读(113) 评论(0) 推荐(0)
CNN Visualizing and Understanding
摘要：Paper：Visualizing and Understanding Convolutional Networks 2014 ECCV 纽约大学 Matthew D. Zeiler, Rob Fergus 论文：Visualizing and Understanding Convolutional 阅读全文
posted @ 2021-05-07 09:37 MissHsu 阅读(116) 评论(0) 推荐(0)
RNN 梯度消失&梯度爆炸
摘要：RNN 梯度消失&梯度爆炸 参考：https://zhuanlan.zhihu.com/p/33006526?from_voters_page=true 梯度消失和梯度爆炸本质是同一种情况。梯度消失经常出现的原因：一是使用深层网络；二是采用不合适的损失函数，如Sigmoid。梯度爆炸一般出现的场景： 阅读全文
posted @ 2021-04-23 13:11 MissHsu 阅读(1129) 评论(0) 推荐(0)
多模态文本分类技术
摘要：多模态文本分类技术 1. 多模态表示学习（Representation） 1.1 联合表示（Joint Representation） 定义：将多个模态的信息一起映射到一个统一的多模态向量空间 论文：Multimodal learning with deep boltzmann machines, 阅读全文
posted @ 2021-04-22 19:32 MissHsu 阅读(5114) 评论(0) 推荐(0)
CNN卷积类型有哪些？
摘要：CNN卷积类型有哪些？ 1. 卷积类型 1.1 普通卷积：2D-Convolution 原始的conv操作可以看做一个2D版本的无隐层神经网络。 代表模型： LeNet：最早使用stack单卷积+单池化结构的方式，卷积层来做特征提取，池化来做空间下采样 AlexNet：后来发现单卷积提取到的特征不是 阅读全文
posted @ 2021-04-22 19:15 MissHsu 阅读(2392) 评论(0) 推荐(1)
CNN卷积和通道
摘要：CNN卷积和通道？ 1. CNN基本结构 全连接， 局部连接 权值共享 2. 卷积和通道的区别是什么 参考资料： https://www.cnblogs.com/shine-lee/p/10243114.html https://blog.yani.ai/filter-group-tutorial/ 阅读全文
posted @ 2021-04-22 19:06 MissHsu 阅读(837) 评论(0) 推荐(0)
CNN模型
摘要：CNN模型 1. CNN模型发展 1.1 AlexNet 卷积核一定越大越好吗？-- 小卷积核 分组卷积首先在在AlexNet中出现，还用到一些非常大的卷积核，比如11×11、5×5卷积核，先前的观念是：卷积核越大，receptive field（感受野）越大，获取到的图片信息越多，因此获得的特征越 阅读全文
posted @ 2021-04-22 18:58 MissHsu 阅读(1761) 评论(0) 推荐(0)
NLP数据增强
摘要：NLP数据增强 1. UDA (Unsupervised Data Augmentation)【推荐】 一个半监督的学习方法，减少对标注数据的需求，增加对未标注数据的利用。 UDA使用的语言增强技术——Back-translation：回译能够在保存语义不变的情况下，生成多样的句式。 UDA关键解决 阅读全文
posted @ 2021-04-22 18:29 MissHsu 阅读(479) 评论(0) 推荐(0)
各种优化器SGD，AdaGrad，Adam，LBFGS都做了什么？
摘要：各种优化器SGD，AdaGrad，Adam，LBFGS都做了什么？ 优化的目标是希望找到一组模型参数，使模型在所有训练数据上的平均损失最小。对于参数的迭代更新$\theta \leftarrow \theta -\eta g$，主要是从两个方面，一个是梯度修正$g$，一个是学习率$\eta$调整。基 阅读全文
posted @ 2021-04-18 23:38 MissHsu 阅读(2478) 评论(0) 推荐(1)
HNSW
摘要：HNSW 解决的问题：做高效率相似性查找。推荐系统中，如何找到与用户query最相近的几个item，然后推荐出去。 解决方法有：Annoy，KD-Tree， LSH， PQ，NSW， HNSW等。 近似最近邻搜索算法（Approximate Nearest Neighbor Search，ANNS） 阅读全文
posted @ 2021-04-18 23:28 MissHsu 阅读(4546) 评论(2) 推荐(0)