随笔分类 -  机器（深度）学习

1 2 3 4 5 下一页
训练的评估函数
摘要：分类任务 import numpy as np import evaluate metric = evaluate.load("accuracy") def compute_metrics(eval_pred): logits, labels = eval_pred predictions = np 阅读全文
posted @ 2024-09-02 04:41 黑逍逍 阅读(74) 评论(0) 推荐(0)
调优参数
摘要：p from peft import PromptEncoderConfig, get_peft_model peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_ 阅读全文
posted @ 2024-08-31 22:25 黑逍逍 阅读(92) 评论(0) 推荐(0)
RAG
摘要：RAG，全称为“Retrieval-Augmented Generation”，是一种结合信息检索和生成式模型的方法。它主要用于提高生成式模型（如GPT、BERT等）的准确性和实用性，特别是在需要从大规模知识库或文档中提取相关信息的任务中。 RAG的工作原理： 信息检索（Retrieval）：首先， 阅读全文
posted @ 2024-08-24 12:00 黑逍逍 阅读(113) 评论(0) 推荐(0)
AutoPeftModel、AutoModel、PeftModel
摘要：官网： AutoPeftModel类通过从配置文件中自动推断任务类型来加载适当的PEFT模型。它们被设计成在一行代码中快速、轻松地加载PEFT模型，而不必担心您需要哪个确切的模型类，或者手动加载PeftConfig.v AutoModel、Transformers提供了一种简单统一的方法来加载预训练 阅读全文
posted @ 2024-06-20 20:34 黑逍逍 阅读(189) 评论(0) 推荐(0)
parameter-Efficient-fine-tuning 部分参数微调（PEFT）
摘要：PEFT（Parameter-Efficient Fine-Tuning参数高效微调） huggingface：PEFT (huggingface.co) github：GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Ef 阅读全文
posted @ 2024-06-17 18:02 黑逍逍 阅读(396) 评论(0) 推荐(0)
损失函数代码
摘要：这个是从代码层面，详细了解损失函数！ CrossEntropyLoss import torch import torch.nn as nn # 实际中遇到的 outputs = torch.tensor([[0.5870, 0.4130], [0.6517, 0.3483], [0.4455, 0 阅读全文
posted @ 2024-05-29 17:46 黑逍逍 阅读(27) 评论(0) 推荐(0)
层次聚类
摘要：定义： 层次聚类是一种树结构，顶层是整个数据，越往下，数据被分类的越多，根据数据的距离矩阵来找到最小距离 通过指标，把相似的城市聚在一起 阅读全文
posted @ 2024-05-09 21:54 黑逍逍 阅读(28) 评论(0) 推荐(0)
图解GPT
摘要：通过最后的向量来预测接下来的内容。 权重： 是在训练中得到的，算是大脑吧 用这个些权重，去乘以新的内容向量 词嵌入 三维空间和能简单 多维12288 我目前没法展示也理解不了他在空间中是什么样子，。 阅读全文
posted @ 2024-04-24 16:52 黑逍逍 阅读(41) 评论(0) 推荐(0)
正则表达式
摘要：. 匹配除换行符以外的任意字符。 ^ 匹配字符串的开头。 $ 匹配字符串的结尾。 * 匹配前一个字符零次或多次。 + 匹配前一个字符一次或多次。 ? 匹配前一个字符零次或一次。非贪婪匹配，只要后面的满足就停止 {n} 匹配前一个字符恰好 n 次。 {n,} 匹配前一个字符至少 n 次。 {n,m} 阅读全文
posted @ 2024-03-12 12:33 黑逍逍 阅读(19) 评论(0) 推荐(0)
千帆API
摘要：又想让我吐槽一顿。 为什么用户手册设计的这么复杂，用户手册写的这么烂？写的就像史一样 恶心恶心恶心 先使用sk获取token 然后使用这个token去请求 阅读全文
posted @ 2024-03-11 12:15 黑逍逍 阅读(20) 评论(0) 推荐(0)
nn.Transformer Layers
摘要：nn.TransformerEncoderLayer https://pytorch.org/docs/stable/generated/torch.nn.TransformerEncoder.html#torch.nn.TransformerEncoder 当使用这个层时，需要提供特定的输入数据。 阅读全文
posted @ 2024-03-08 18:46 黑逍逍 阅读(451) 评论(0) 推荐(0)
层次分析法”（Analytic Hierarchy Process, AHP）
摘要：用于解决复杂的决策问题 阅读全文
posted @ 2024-02-06 11:56 黑逍逍 阅读(12) 评论(0) 推荐(0)
TF-IDF
摘要：定义： TF-IDF 是针对一个文档集合（语料库）设计的，这种统计方法用于评估一个词语对于一份文件的重要程度 就是TF-IDF的值越高，这个词在这篇文档中的重要性就越高 TF (Term Frequency): 这是一个单词在该篇文章中出现的频率。例如，如果一个单词在文档中出现了5次，而文档总共有1 阅读全文
posted @ 2024-01-24 15:04 黑逍逍 阅读(121) 评论(0) 推荐(0)
提取SAO
摘要："SAO" 这个概念在自然语言处理（NLP）领域中指的是从文本中提取“主体-动作-客体”（Subject-Action-Object）结构。 主体（Subject）：通常是句子中执行动作的人或事物。在英文中，主体通常位于句子的开头。 动作（Action）：这是句子中描述的主要动作或事件。在英文中，动 阅读全文
posted @ 2024-01-18 18:16 黑逍逍 阅读(593) 评论(0) 推荐(0)
Stanford Praser工具的使用
摘要：啊 阅读全文
posted @ 2024-01-17 16:34 黑逍逍 阅读(6) 评论(0) 推荐(0)
分词、去停用词、词性还原
摘要：分词 就是讲一句话，根据名词，短句，专有名词，分开 text = "我爱自然语言处理"分割后 = "我/爱/自然语言/处理" NLTK（Natural Language Toolkit） import nltk nltk.download('punkt') # 首次使用需要下载数据 from nlt 阅读全文
posted @ 2024-01-17 16:34 黑逍逍 阅读(54) 评论(0) 推荐(0)
rosetta使用说明
摘要：1. 首页 2. 显示页面 3. 读取数据 选择ODBC 之后点击ok 4. 数据离散化 5. 约减 参考其他人写的： https://wenku.baidu.com/view/85efcf4dfe4733687e21aaf7?aggId=85efcf4dfe4733687e21aaf7&fr=ca 阅读全文
posted @ 2024-01-16 17:50 黑逍逍 阅读(43) 评论(0) 推荐(0)
rosetta
摘要：这个软件安装的费劲啊，rosetta重名的太多，各种软件。 还下载了rosetta commons 搞蛋白质的软件。 还有就是国内的搜索真的恶心，各种csdn，经管之家。。。。收费的。最后用google找到的资源下载。 我就想找一下正版的软件下载 一开始花钱下载了，打开之后，让我一度怀疑下载错了，不 阅读全文
posted @ 2024-01-16 17:31 黑逍逍 阅读(40) 评论(0) 推荐(0)
huggingface--bert
摘要：按照huggangingface上的说明文档，进行一 一 学习的 dmis-lab/biobert-v1.1 · Hugging Face BERT (huggingface.co) BertConfig： 包含BERT模型所有配置参数的类。它定义了模型的大小，例如隐藏层的数量、注意力头的数量等。 阅读全文
posted @ 2023-12-31 00:40 黑逍逍 阅读(223) 评论(0) 推荐(0)
doc转docx
摘要：费劲死了。 python go fs 阅读全文
posted @ 2023-12-13 16:48 黑逍逍 阅读(13) 评论(0) 推荐(0)

1 2 3 4 5 下一页