会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
ZhangHT97
博客园
首页
新随笔
联系
订阅
管理
2022年1月28日
如何加载本地下载下来的BERT模型,pytorch踩坑!!
摘要: 近期做实验频繁用到BERT,所以想着下载下来使用,结果各种问题,网上一搜也是简单一句:xxx.from_pretrained("改为自己的路径") 我只想说,大坑!!! 废话不多说: ##1.下载模型文件: 不管你是从hugging-face还是哪里下载来的模型(pytorch版)文件夹,应该包含以
阅读全文
posted @ 2022-01-28 12:03 ZhangHT97
阅读(22739)
评论(4)
推荐(7)
2020年8月13日
pytorch运行错误:ValueError: too many dimensions 'str'
摘要: ##问题: 本人在使用BERT进行微调的时候,在读取数据的时候出现了一个错误:ValueError: too many dimensions 'str' 于是我Debug了以后,发现问题出现在这个部分:tensor_labels = torch.tensor(labels, dtype=label_
阅读全文
posted @ 2020-08-13 16:32 ZhangHT97
阅读(19866)
评论(0)
推荐(3)
2020年8月6日
笔记:Bridging the Gap Between Relevance Matching and Semantic Matching for Short Text Similarity Modeling
摘要: 笔记:Bridging the Gap Between Relevance Matching and Semantic Matching for Short Text Similarity Modeling 发表情况:EMNLP2019 发表作者:Jinfeng Rao FaceBook 模型提出:
阅读全文
posted @ 2020-08-06 21:03 ZhangHT97
阅读(810)
评论(0)
推荐(0)
2020年8月4日
windows下使用LTP分词,安装pyltp
摘要: 1.LTP介绍 ltp是哈工大出品的自然语言处理工具箱, 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术。pyltp是python下对ltp(c++)的封装. 在linux下我们很容易的安装pyltp, 因为各种编译工具比较方便. 但是在w
阅读全文
posted @ 2020-08-04 21:14 ZhangHT97
阅读(3145)
评论(0)
推荐(0)
2020年8月3日
python利用正则表达式提取文本中特定内容
摘要: 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一个正则表
阅读全文
posted @ 2020-08-03 16:58 ZhangHT97
阅读(37722)
评论(0)
推荐(4)
2020年7月28日
深度学习文本匹配简述
摘要: 深度文本匹配方法 近期在看有关于相似文本检索的论文,但是发现这个方向模型和论文太多,为了方便自己看,简单做了个整理。 匹配方法可以分为三类: 基于单语义文档表达的深度学习模型(基于表示) 基于单语义文档表达的深度学习模型主要思路是,首先将单个文本先表达成一个稠密向量(分布式表达),然后直接计算两个向
阅读全文
posted @ 2020-07-28 16:12 ZhangHT97
阅读(5027)
评论(2)
推荐(0)
2020年7月26日
TF-IDF计算相似度为什么要对稀疏向量建立索引?
摘要: ##TF-IDF的向量表示的稀疏问题 之前在看tf-idf代码时候思考了一个问题,不知道对于初学的大部分同学有没有这样一个疑惑,用tf-idf值构成的向量,维度可能跟词表的大小有关,那么对于一句话来说,这样的向量表示是不是太稀疏了? 例如,对于下面的数据(文档),词表大小为32个词,那么我们每一句话
阅读全文
posted @ 2020-07-26 16:15 ZhangHT97
阅读(798)
评论(0)
推荐(0)
2020年7月22日
阅读笔记——长文本匹配《Matching Article Pairs with Graphical Decomposition and Convolutions》
摘要: ##论文题目:Matching Article Pairs with Graphical Decomposition and Convolutions ##发表情况:ACL2019 腾讯PCG小组 ###模型简介 模型如图 本文的工作是基于概念图 Concept Interac-tion Graph
阅读全文
posted @ 2020-07-22 17:28 ZhangHT97
阅读(1796)
评论(0)
推荐(0)
2020年7月19日
论文笔记——事件抽取之DMCNN
摘要: 论文标题:A Convolutional Neural Network for Modelling Sentences 论文地址:http://www.nlpr.ia.ac.cn/cip/yubochen/yubochenPageFile/acl2015chen.pdf 模型简称:DMCNN 发表情况:ACL2015/IJCNLP2015 中科院自动化所 陈玉博
阅读全文
posted @ 2020-07-19 14:38 ZhangHT97
阅读(3069)
评论(0)
推荐(0)
2020年7月18日
Jupyter Notebook 更改字体、字体大小、行高
摘要: (废话):今天在做实验的时候遇到了一点问题,就问了问本科的室友,结果室友推荐我使用Jupyter Notebook来写代码,以前看其他同学使用过,但是一直在用Pycharm写,需要的时候顶多是Debug看一下,直到今天室友展示了以后才决定使用这个工具。 写在前面:由于本人之前自学过前端的东西,了解一
阅读全文
posted @ 2020-07-18 20:00 ZhangHT97
阅读(18431)
评论(0)
推荐(1)
公告