AI - 随笔分类 - ︶ㄣ演戲ㄣ

扩散模型在文本摘要任务中可以采用的训练方法

摘要：## 扩散模型在文本摘要任务中可以采用的训练方法 ### 条件控制通过设定不同的条件c，文本生成任务可以被进一步分类为unconditional generation，attribute-to-text generation （如属性控制），text-to-text generation （如机器阅读全文

posted @ 2023-07-12 11:39 ︶ㄣ演戲ㄣ阅读(125) 评论(0) 推荐(0)

扩散模型在文本生成领域的应用

摘要：## 对于加噪方式 #### Structured Denoising Diffusion Models in Discrete State-Spaces ![image](https://img2023.cnblogs.com/blog/2417944/202306/2417944-2023061 阅读全文

posted @ 2023-06-19 20:32 ︶ㄣ演戲ㄣ阅读(186) 评论(0) 推荐(0)

扩散模型

摘要：扩散模型的用途：当下很多图片需要去码去噪，还原本身的图像性质。或者当下AI绘画很火热，许多算法通过输入文字描述，最终便可以得到一张生成图像。 ## 概述扩散模型的思路：定义一个扩散步骤的马尔可夫链，缓慢地将随机噪声添加到数据中，然后学习反转扩散过程，从噪声中构建所需的数据样本。 ![image]( 阅读全文

posted @ 2023-06-07 18:50 ︶ㄣ演戲ㄣ阅读(280) 评论(0) 推荐(0)

中英文对比

摘要：## 在中文数据集上预训练过的模型效果 ``` Generated Title: 传章子怡怀孕4个月, 预产期是年底前后, 已不接工作; 消息是章子怡怀孕了, 消息是真是假; 消息称章子怡怀孕的消息是假? (1) 科技频道光明网(组图) 。 Actual Title: 知情人透露章子怡怀孕后,父母很阅读全文

posted @ 2023-05-24 22:36 ︶ㄣ演戲ㄣ阅读(68) 评论(0) 推荐(0)

客服对话转录摘要竞赛的方法

摘要：1. 输入内容会带有一定的转写错误，会对模型的训练造成一个的干扰用了input word replace方法，将一部分输入的词随机替换成其他词表中的词，这种类似于对抗训练的方法能够极大增加模型的鲁棒性，并且使得模型有一定的识别转写错误、纠正转写错误的能力。 input word replace 因阅读全文

posted @ 2023-05-18 16:47 ︶ㄣ演戲ㄣ阅读(44) 评论(0) 推荐(0)

2023.5.18

摘要：把英文语料翻译成中文针对翻译的中文数据放入中文摘要模型进行推理，输出摘要。比较输出的中文语料摘要与原始英文转录摘要对比 1. 语料，一个中文语料，一个英文语料 2. 使用中文摘要生成模型此模型在上述中文语料上是否进行过训练 1）是，相当于看过答案，生成的摘要效果较好。但对于英文语料（翻译阅读全文

posted @ 2023-05-18 13:46 ︶ㄣ演戲ㄣ阅读(20) 评论(0) 推荐(0)

BART预训练任务的数据处理代码

摘要：Data collator used for BART denoising language modeling. The code is largely copied from `<https://github.com/morganmcg1/rotobart/blob/main/data_colla 阅读全文

posted @ 2023-05-11 17:59 ︶ㄣ演戲ㄣ阅读(127) 评论(0) 推荐(0)

LLM

摘要：ChatGLM-6B https://github.com/THUDM/ChatGLM-6B 支持在单张 2080Ti 上进行推理使用。在 1:1 比例的中英语料上训练了 1T 的 token 量 ChatGLM-6B 序列长度达 2048 fine-tune 需要Deepspeed 训练需要显存阅读全文

posted @ 2023-05-05 11:38 ︶ㄣ演戲ㄣ阅读(245) 评论(0) 推荐(0)

长文本摘要模型的位置编码

摘要：Longformer Roberta使用绝对位置编码，最大512.为了能够适应更长的文本，Longformer添加到4096。为了利用Roberta的预训练后的权重，多次复制512位置编码。做了实验，对比随机初始化位置编码和复制位置编码，显示出复制位置编码的重要性。扩展BART的1K token 阅读全文

posted @ 2023-04-23 17:48 ︶ㄣ演戲ㄣ阅读(115) 评论(0) 推荐(0)

BART的使用

posted @ 2023-04-21 09:38 ︶ㄣ演戲ㄣ阅读(627) 评论(0) 推荐(0)

可用的摘要模型

posted @ 2023-04-14 11:09 ︶ㄣ演戲ㄣ阅读(79) 评论(0) 推荐(0)

使用LLM的问题

摘要：当前大模型的低成本实现方案：语言模型 + 指令微调数据 + 微调加速 llama + alpaca_data(Fine-tuning) + lora 语言模型: ... 指令微调数据: 在一组通过指示描述的数据集上对语言模型微调，大大提高了在未见过任务上的 Zero-Shot 能力。通过对多种任阅读全文

posted @ 2023-04-11 17:40 ︶ㄣ演戲ㄣ阅读(98) 评论(0) 推荐(0)

文本摘要热点及发展方向（？）

摘要：热点： 2019：摘要定制化的预训练模型不同场景的数据集学术论文摘要生成式摘要的事实一致性方向：模仿人撰写摘要的模式，融合抽取式和生成式摘要方法生成联合摘要基于语义层面研究进一步地深度挖掘句子级、篇章级的语义并加以利用来进一步提高文本摘要的语义一致性和可读性定制化摘要超长文本摘要最阅读全文

posted @ 2023-04-11 16:27 ︶ㄣ演戲ㄣ阅读(221) 评论(0) 推荐(0)

2023.3.16 prompt综述

摘要：1.prompt产生预训练语言模型的研究思路通常是“pre-train, fine-tune”。但是随着预训练模型的不断增大，对其进行fine-tune的硬件要求、有标注的数据的需求也在不断上涨。为了缓解这个问题，提出了prompt。 2.prompt怎么解决上述问题 pre-train，fi 阅读全文

posted @ 2023-03-17 13:39 ︶ㄣ演戲ㄣ阅读(195) 评论(0) 推荐(0)

随笔分类 - AI