随笔分类 -  大模型

摘要:参考论文:https://arxiv.org/pdf/2401.02038v1 一、训练方面 1、数据预处理 (1)除噪音 a.去除离群值:使用统计方法(如 z-score、IQR)识别并移除异常数据点。 import numpy as np from scipy import stats data 阅读全文
posted @ 2024-08-22 16:04 落魄的大数据转AI小哥 阅读(343) 评论(0) 推荐(0)
摘要:一、提示工程(Prompt Engineering)方法 1.1 检索增强生成(Retrieval Augmented Generation, RAG)技术 利用外部权威知识库来增强LLM的响应,提高输出的准确性和时效性。 1.2 自我优化反馈和推理技术 使LLM能够自我纠正和提高可靠性。 1.3 阅读全文
posted @ 2024-08-14 16:43 落魄的大数据转AI小哥 阅读(230) 评论(0) 推荐(0)
摘要:参考地址:https://mp.weixin.qq.com/s/0qkMbzlU9ks6DNS5MBiU8g 论文地址: (1)cot:https://arxiv.org/pdf/2201.11903.pdf(2)tot:https://arxiv.org/pdf/2305.10601.pdf(3) 阅读全文
posted @ 2024-04-23 14:32 落魄的大数据转AI小哥 阅读(1242) 评论(0) 推荐(0)
摘要:一、租用GPU服务器(我这边选择便宜一些的Autodl) Autodl:https://www.autodl.com/ 智星云:https://gpu.ai-galaxy.cn/ 二、登录服务器,下载模型 1、处理vim时出现的中文乱码问题 vim /etc/vim/vimrc #在文件末尾添加如下 阅读全文
posted @ 2024-04-09 21:32 落魄的大数据转AI小哥 阅读(317) 评论(0) 推荐(0)