随笔分类 - Tensorflow
摘要：BERT六大瘦身大法 网络剪枝：包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵，或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝，还有一些模型通过正则化方法实现剪枝。 低秩分解：即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存
阅读全文
摘要：从近几次做的工具来看，最终模型命中的数据总是要保存到本地，便于溯源。从便捷性来考虑，python自带的sqlite3是不错的选择。 数据库的使用并不存在难度，常用的sql语句即可实现增删改查。同时，为了业务需要，还要对数据库结果加密。 简单的使用： import sqlite3 def create
阅读全文
摘要：深度学习在广泛应用于目标检测、分类等计算机视觉任务中。但这些应用往往需要很大的计算量和能耗。例如处理一张图片分类，VGG-16需要做 150亿次计算，而YOLOv3需要执行390亿次计算。 这就带来一个问题，如何在低功耗的嵌入式系统或移动设备中部署深度学习呢？一种解决办法是将计算任务转移到云侧，但这
阅读全文
摘要：GLUE 是一个用于评估通用 NLP 模型的基准，其排行榜可以在一定程度上反映 NLP 模型性能的高低。然而，现有的 GLUE 基准针对的是英文任务，无法评价 NLP 模型处理中文的能力。为了填补这一空白，国内关注 NLP 的热心人士发布了一个中文语言理解测评基准ChineseGLUE。Chines
阅读全文
摘要：机器之心编辑部 训练一亿参数量的全连接网络，44 核心 CPU 让 V100 甘拜下风，靠的居然是——哈希？ 深度学习模型的训练和推理加速近来是研究领域关注的重点。虽然普遍观点认为，GPU 相比 CPU 有更强的算力优势。但在近日，莱斯大学的计算机科学家们公布了新的研究成果，其提出的深度学习框架，在
阅读全文
摘要：当你要处理一个任务，比如说分类，手上就会有一批训练集和一批测试集，测试集使用来最终的评测。为了能更好的训练一个model并进行有效评估，首先要做的是将手头上的训练集划分出一个验证集，用以验证模型 之前的k折交叉验证没有考虑到标签分布的问题，或者干脆就random一批验证集，其实这样最终的模型会有隐患
阅读全文
摘要：批量下载requirements.txt中的第三方库 命令： pip wheel -w target_file_path -r requirements.txt 在windows环境中下载linux需要的包，通过 pip download 命令： pip download -d . torch==1
阅读全文
摘要：BERT强大的特征抽取能力在各方面的应用如火如荼的展开，今日准备要对BERT输出的特征进行组合，以期能具有更好地变现，现在对model对象做详细的分析。 直观上，我们能够利用bert的信息有：1）pool out [CLS]；2）encoder layer；3）hidden state first
阅读全文
摘要：对于BERT后时代，不得不说强有力的预训练模型是刷榜、出色完成任务的基础，现在列举几个对此很有帮助的资源，同大家一起进步！！！ 一：互联网新闻情感分析复赛top8(8/2745)解决方案及总结； 地址：https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总
阅读全文
摘要：本次介绍假新闻赛道一第一名的构建思路，大家一起学习下 任务描述 文本是新闻信息的主要载体，对新闻文本的研究有助于虚假新闻的有效识别。虚假新闻文本检测，具体任务为：给定一个新闻事件的文本，判定该事件属于真实新闻还是虚假新闻。该任务可抽象为NLP领域的文本分类任务，根据新闻文本内容，判定该新闻是真新闻还
阅读全文
摘要：一、多模态智能信息检索技术设计1.设计检索的框架流程，设计检索评估方法完成的任务：用户搜索“苹果”，在限定性语境中，如何做到用户是需要找“苹果手机”，而不是水果“苹果”系统输入：一个关键词 输出：同输入词相关的若干词汇（可能是用户需要的敏感词汇）预计出现的问题： 1）输出相似或相关词汇由于模型的误判
阅读全文
摘要：1.现状 1）为啥诈骗检测的难度高： 诈骗的定义很模糊，很多情况下客户都根本不知道具体的诈骗 表面上诈骗是一个二分类问题（是或者不是），但仔细想想是一个多分类问题，因为每种不同的诈骗都可以当成一个单独的类型 单一类型的诈骗非常之多，普遍存在，同时诈骗的手段也在千变万化。需要不断更新检测手段，不能把赌
阅读全文
摘要：TF2.0最新架构，去除之前版本的冗余、无用接口，具有简单性和易用性 1.使用tf.data加载数据 使用输入管道读取训练数据，输入管道使用tf.data创建 利用tf.feature_column描述特征，如分段和特征交叉 2.使用tf.keras构建、训练并验证模型，或者使用Premade Es
阅读全文
摘要：ChineseGLUE Language Understanding Evaluation benchmark for Chinese: datasets, baselines, pre-trained models, corpus and leaderboard 中文语言理解测评基准，包括代表性的
阅读全文
摘要：多任务学习、对抗学习、知识蒸馏三大方法结合起来，效果突飞猛进？？？ NLP新基准SuperGLUE榜单刷新 追一科技超Facebook，地址：https://m.gmw.cn/baijia/2020-01/20/33497522.html 那么结合的方式值得我们思考讨论
阅读全文
摘要：比较好的一套处理工具吧，感谢作者，原文地址：https://github.com/ownthink/Jiagu 练习一下使用
阅读全文
摘要：地址：https://rajpurkar.github.io/SQuAD-explorer/ Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions
阅读全文
摘要：使用CNN做文本分类已经有一段时间了，之前在封闭式测试集中模型的表现还是不错的。但是，拿到实际环境汇总测试，问题就来了。模型过拟合严重，泛化能力弱。最终带来的结果是，用户体验不佳。 改进的方面： 1）改变字符向量为词向量。实际发现，以字符为单元的模型，在数据量少的情况下（10W以下），更容易过拟合，
阅读全文
摘要：近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》
阅读全文
浙公网安备 33010602011771号