2023年11月14日
摘要: 本文主要介绍了Rasa中相关Tokenizer的具体实现,包括默认Tokenizer和第三方Tokenizer。前者包括JiebaTokenizer、MitieTokenizer、SpacyTokenizer和WhitespaceTokenizer,后者包括BertTokenizer和Another 阅读全文
posted @ 2023-11-14 00:17 扫地升 阅读(64) 评论(0) 推荐(0) 编辑
  2023年11月12日
摘要: JiebaTokenizer类继承自Tokenizer类,而Tokenizer类又继承自GraphComponent类,GraphComponent类继承自ABC类(抽象基类)。本文使用《使用ResponseSelector实现校园招聘FAQ机器人》中的例子,主要详解介绍JiebaTokenizer 阅读全文
posted @ 2023-11-12 21:00 扫地升 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 可以使用自定义NLU组件和策略扩展Rasa,本文提供了如何开发自己的自定义Graph Component指南。 Rasa提供各种开箱即用的NLU组件和策略。可以使用自定义Graph Component对其进行自定义或从头开始创建自己的组件。 要在Rasa中使用自定义Graph Component,它 阅读全文
posted @ 2023-11-12 21:00 扫地升 阅读(57) 评论(0) 推荐(0) 编辑
  2023年11月11日
摘要: 本文使用《使用ResponseSelector实现校园招聘FAQ机器人》中的例子,主要详解介绍_train_graph()函数中变量的具体值。 一.rasa/model_training.py/_train_graph()函数 _train_graph()函数实现,如下所示: def _train_ 阅读全文
posted @ 2023-11-11 22:57 扫地升 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 本文使用《使用ResponseSelector实现校园招聘FAQ机器人》中的例子,主要详解介绍train_nlu()函数中变量的具体值。 一.rasa/model_training.py/train_nlu()函数 train_nlu()函数实现,如下所示: def train_nlu( confi 阅读全文
posted @ 2023-11-11 22:57 扫地升 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 本文主要介绍使用ResponseSelector实现校园招聘FAQ机器人,回答面试流程和面试结果查询的FAQ问题。FAQ机器人功能分为业务无关的功能和业务相关的功能2类。 一.data/nlu.yml文件 与普通意图相比,ResponseSelector训练数据中的意图采用group/intent格 阅读全文
posted @ 2023-11-11 22:56 扫地升 阅读(98) 评论(0) 推荐(1) 编辑
  2023年11月8日
摘要: Rasa NLU部分主要是解决NER(序列建模)和意图识别(分类建模)这2个任务。Rasa NLP是一个基于DAG的通用框架,图中的顶点即组件。组件特征包括有顺序关系、可相互替换、可互斥和可同时使用。有向无环图(DAG)在很多地方都有用到,比如Spark中等。虽然问答系统类型很多,比如闲聊问答、文档 阅读全文
posted @ 2023-11-08 00:25 扫地升 阅读(199) 评论(0) 推荐(1) 编辑
  2023年11月6日
摘要: 在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpret 阅读全文
posted @ 2023-11-06 22:33 扫地升 阅读(751) 评论(0) 推荐(0) 编辑
  2023年11月3日
摘要: 本文主要介绍P-tuning-v2论文中的5种任务,分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务,重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE(General Language Understanding Evaluation)是纽约大学、华盛顿大学 阅读全文
posted @ 2023-11-03 23:07 扫地升 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 常见参数高效微调方法(Parameter-Efficient Fine-Tuning,PEFT)有哪些呢?主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示: Prompt系列比如,Prefix Tuning(2021.01-Stanford)、Prompt 阅读全文
posted @ 2023-11-03 00:18 扫地升 阅读(177) 评论(0) 推荐(0) 编辑