摘要:
基本使用 transformers:2.10.0 这里就不使用pytorch中的dataset和dataloader了,简单的模拟下: from transformers import AdanW, get_linear_schedule_with_warmup optimizer = AdamW( 阅读全文
摘要:
讲在前面,本来想通过一个简单的多层感知机实验一下不同的优化方法的,结果写着写着就先研究起评价指标来了,之前也写过一篇:https://www.cnblogs.com/xiximayou/p/13700934.html 与上篇不同的是,这次我们新加了一些相关的实现,接下来我们慢慢来看。 利用pytor 阅读全文
摘要:
在某些场景下,我们需要将机器学习或者深度学习模型部署为服务给其它地方调用,本文接下来就讲解使用python的flask部署服务的基本过程。 1. 加载保存好的模型 为了方便起见,这里我们就使用简单的分词模型,相关代码如下:model.py import jieba class JiebaModel: 阅读全文
摘要:
网址 https://coggle.club/note/dl/pretrained-models 预训练模型镜像 使用方法直接复制链接下载或者wget下载,链接在服务器直接下载。 部分文件链接是http链接,请放心下载。 NLTK http://www.nltk.org/nltk_data/ 百度云 阅读全文
摘要:
哈工大LTP基本使用-分词、词性标注、依存句法分析、命名实体识别、角色标注 上一节我们讲了LTP的基本使用,接下来我们使用其进行事件抽取。 参考代码:https://github.com/liuhuanyong/EventTriplesExtraction sentence_parser.py im 阅读全文
摘要:
代码 import os from pprint import pprint from pyltp import Segmentor, Postagger, Parser, NamedEntityRecognizer, SementicRoleLabeller class LtpParser: de 阅读全文
摘要:
主要是去除掉换行符、空格、制表符以及无效的字符: import collections import re import unicodedata import six def clean_br(text): br_pattern = ('<br\s*?/?>') text = re.sub(br_p 阅读全文
摘要:
模型创建相关代码 def create_model(bert_config, is_training, input_ids, input_mask, segment_ids, labels, num_labels, use_one_hot_embeddings, extras): """Create 阅读全文
摘要:
接上一节加载数据(一) 上一节我们说到了 convert_single_example(ex_index, example, label_list, max_seq_length, tokenizer) 这个函数,里面又分别调用了: loc, mas, e1_mas, e2_mas = prepar 阅读全文
摘要:
代码参考:https://github.com/liuhuanyong/QASystemOnMedicalKG 自己做了的一些注释和改动:https://github.com/taishan1994/medical_question_and_answer_knowledge_graph/ 环境依赖 阅读全文