摘要: 1 阅读全文
posted @ 2024-05-28 10:25 嘎吱嘎吱脆 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 对超长文本进行总结 假如我们想要用 open ai api 对一个段文本进行总结,我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时,我们一般会进行对文章进行分段,比如通过 tiktoken 计算并分割,然后将各段发送给 api 进行总结 阅读全文
posted @ 2023-10-17 20:16 嘎吱嘎吱脆 阅读(116) 评论(0) 推荐(0) 编辑
摘要: ### 提示学习 **Prompt learning**也被称为阅读理解提示学习(Prompted Reading Comprehension)是一种强化学习技术,用于训练语言模型在给定一个提示(prompt)的情况下生成合适的回答或补全文本。在基于提示学习中,模型会根据给定的提示文本,生成应答或者 阅读全文
posted @ 2023-08-22 14:16 嘎吱嘎吱脆 阅读(108) 评论(0) 推荐(0) 编辑
摘要: ### lr_scheduler的选择 学习率在训练过程起到很重要的作用,这段时间里最常用的两个: - 循环学习率调度器 循环学习率调度器主要基于一个基本的观点:将训练过程中的学习率从较低的初始值逐渐增加,然后再逐渐减小到较小的终止值。这个过程有助于模型更快地收敛,并且可以降低模型过拟合的风险。同时 阅读全文
posted @ 2023-08-18 18:27 嘎吱嘎吱脆 阅读(2) 评论(0) 推荐(0) 编辑
摘要: ## 在Hugging Face提供的transformers库中,BERT模型相关的类有很多,以下是一些常用的BERT模型类: 1. BertModel: BERT模型的基本类,用于获取BERT模型的隐藏状态。 2. BertForPreTraining: 用于预训练任务,包括Masked Lan 阅读全文
posted @ 2023-08-16 16:29 嘎吱嘎吱脆 阅读(15) 评论(0) 推荐(0) 编辑
摘要: ### CSV文件 CSV(Comma-Separated Values)是一种常见的文本文件格式,用于存储结构化的数据。CSV文件中的数据是以逗号(或其他指定的分隔符)分隔的文本行,每一行表示一条记录,每个字段表示记录中的一个属性或值。 ### 读CSV ``` import csv import 阅读全文
posted @ 2023-08-16 15:34 嘎吱嘎吱脆 阅读(14) 评论(0) 推荐(0) 编辑
摘要: ### 仓库初始化与克隆 - git init:在当前目录初始化一个新的 Git 仓库。 - git clone :克隆远程仓库到本地。 ### 基本操作: - git add :将文件添加到暂存区。 - git commit -m "":将暂存区的文件提交到仓库并添加提交信息。 - git sta 阅读全文
posted @ 2023-08-15 17:06 嘎吱嘎吱脆 阅读(20) 评论(0) 推荐(0) 编辑
摘要: ## 多标签的向量表示 ``` from sklearn.preprocessing import MultiLabelBinarizer ``` - 只有数据,未知全部标签,需要统计 ``` mlb = MultiLabelBinarizer() labellist = [('红'),('绿色') 阅读全文
posted @ 2023-08-14 17:49 嘎吱嘎吱脆 阅读(19) 评论(0) 推荐(0) 编辑
摘要: Install Apex git clone https://gitee.com/wingszb/apex cd apex pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" - 阅读全文
posted @ 2022-10-13 20:52 嘎吱嘎吱脆 阅读(776) 评论(0) 推荐(0) 编辑
摘要: 服务器查看显卡 nvidia -smi # 实时查看 watch -n 0.5 nvidia-smi 指定GPU id import os os.environ['CUDA_VISIBLE_DEVICES'] = '1,0,2' import torch # 如果上述方法失效的话 torch.cud 阅读全文
posted @ 2022-04-15 10:27 嘎吱嘎吱脆 阅读(82) 评论(0) 推荐(0) 编辑