随笔分类 - NLP
摘要：以下代码可以让你更加熟悉seq2seq模型机制 参考：https://blog.csdn.net/weixin_43632501/article/details/98525673
阅读全文
摘要：1.知识图谱建立好后，下一步怎么办？ 现今，各个行业都在储备自己的数据，领域知识数据的获取已不再是问题。我们能够通过自然语言处理、爬虫技术、装饰器等技术将数据整理成结构化数据，之后再将其放入到已经定义好的知识图谱里，用于支撑上层推理。那好，当你有了知识图谱也就是说有了数据，接下来你要做什么事呢？当然
阅读全文
摘要：比较好的一套处理工具吧，感谢作者，原文地址：https://github.com/ownthink/Jiagu 练习一下使用
阅读全文
摘要：在无GPU的情况下，打算安装pytorch跑几个demo练练手，但是pycharm发现总是失败，无法安装成功。错误显示如下： 无奈之下，只能够使用官方推荐的命令pip3安装，命令如下： pip3 install torch==1.2.0+cpu torchvision==0.4.0+cpu -f h
阅读全文
摘要：1.KS值--学习器将正例和反例分开的能力，确定最好的“截断点” KS曲线和ROC曲线都用到了TPR，FPR。KS曲线是把TPR和FPR都作为纵坐标，而样本数作为横坐标。但是AUC只评价了模型的整体训练效果，并没有指出如何划分类别让预估的效果达到最好。不同之处在于，ks取的是TPR和FPR差值的最大
阅读全文
摘要：地址：https://rajpurkar.github.io/SQuAD-explorer/ Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions
阅读全文
摘要：使用CNN做文本分类已经有一段时间了，之前在封闭式测试集中模型的表现还是不错的。但是，拿到实际环境汇总测试，问题就来了。模型过拟合严重，泛化能力弱。最终带来的结果是，用户体验不佳。 改进的方面： 1）改变字符向量为词向量。实际发现，以字符为单元的模型，在数据量少的情况下（10W以下），更容易过拟合，
阅读全文
摘要：1.什么是opencc？ Open Chinese Convert（OpenCC）是一个开源的中文简繁转换项目，致力于制作高质量的基于统计预料的简繁转换词库。还提供函数库(libopencc)、命令行简繁转换工具、人工校对工具、词典生成程序、在线转换服务及图形用户界面。 2.我用在了哪里？ 之前做文
阅读全文
摘要：虽然，虽然，虽然，今天： 百度发布了2019年第一季度未经审计的财务报告。本季度百度营收241亿元人民币（约合35.9亿美元），同比增长15%，移除业务拆分收入影响，同比增长21%。低于市场预期242.7亿元。净亏损为人民币3.27亿元（约合4900万美元），去年同期净利润为人民币66.94亿元。这
阅读全文
摘要：近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》
阅读全文
摘要：迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。 在迁移学习任务中，需要事先定义一组源数据集合，使用该集合训练
阅读全文
摘要：生成字符向量的过程中需要注意： 1）在收集数据生成corpus时候，通过Word2Vec生成字向量的时候，产生了“ ”空格字符向量，但是加载模型是不会成功的。那么你不是生成的binary文件，就可以修改此文件，更改或删除。 示例参考代码如下：
阅读全文
摘要：saved_model模块主要用于TensorFlow Serving。TF Serving是一个将训练好的模型部署至生产环境的系统，主要的优点在于可以保持Server端与API不变的情况下，部署新的算法或进行试验，同时还有很高的性能。 在模型的训练阶段，同时要保存tfs需要的saved_model
阅读全文
摘要：今日看了一篇文章《Learning to Select Knowledge for Response Generation in Dialog Systems》，以知识信息、对话目标、对话历史信息为基础，进行端到端的对话语句生成。期间做了一些笔记，还有个人想法。大家一起进步！
阅读全文
摘要：K折交叉验证时使用： KFold（n_split, shuffle, random_state） 参数：n_split:要划分的折数 shuffle: 每次都进行shuffle，测试集中折数的总和就是训练集的个数 random_state:随机状态
阅读全文
摘要：当你的深度学习模型变得很多时，选一个确定的模型也是一个头痛的问题。或者你可以把他们都用起来，就进行模型融合。我主要使用stacking和blend方法。先把代码贴出来，大家可以看一下。
阅读全文
摘要：之前训练模型，认为网络图构建完成，Loss肯定是呈现下降的，就没有太留心，知识关注F1的变化情况，找到最优的F1训练就停止了，认为模型就ok。 但实际中发现，我们要时刻关注网络的损失变化情况，batch size过小（6,8）都会导致模型不收敛，此时你就看不到损失的变化，只能根据F1优劣判断模型。
阅读全文
浙公网安备 33010602011771号