2024 SemEval 冠军
SemEval Task10，本质是一个文本分类的任务，有三个子任务，论文摘要如下：在多维对话中，情绪不仅作为情感交流的重要中介者，还承载着丰富的信息。因此，准确识别交流者的情绪并理解情绪变化的触发因素至关重要。本研究专注于多语言对话情绪识别和基于挑衅者的情绪逆向推理任务，旨在提高对话中情绪理解的准 ...
基于英特尔® Gaudi® 2 AI 加速器的文本生成流水线
随着生成式人工智能 (Generative AI，GenAI) 革命的全面推进，使用 Llama 2 等开源 transformer 模型生成文本已成为新风尚。人工智能爱好者及开发人员正在寻求利用此类模型的生成能力来赋能不同的场景及应用。本文展示了如何基于 Optimum Habana 以及我们实现 ...
【译】LWM，AI 世界模型的黎明？
原作：格列高利的伊格内修斯 引言：从语言到视频 AI行业的下一个里程碑--视频的征服真在加剧。 借助业界最热门的创新之一“Ring Attention（环形注意力、环形使者）”，一组研究人员构建了 LWM 视频模型，尽管这些模型还非常小，但包含的功能超越了目前ChatGPT的能力。 然而，基于视频的 ...
【预训练语言模型】 使用Transformers库进行BERT预训练
基于 HuggingFace的Transformer库，在Colab或Kaggle进行预训练。 鉴于算力限制，选用了较小的英文数据集wikitext-2 目的：跑通Mask语言模型的预训练流程 一、准备 1.1 安装依赖 !pip3 install --upgrade pip !pip instal ...
【预训练语言模型】使用Transformers库进行GPT2预训练
基于 HuggingFace的Transformer库，在Colab或Kaggle进行预训练。 本教程提供：英文数据集wikitext-2和代码数据集的预训练。 注：可以自行上传数据集进行训练 目的：跑通自回归语言模型的预训练流程 一、准备 1.1 安装依赖 !pip install -U data ...
自动生成单元测试、外挂开源代码库等新功能，上线JetBrains IDEs的CodeGeeX插件！
CodeGeeX第三代模型发布后，多项基于第三代模型能力的新功能今天也同步上线JetBrains IDEs全家桶。 用户可以在IDEA、PyCharm等JetBrains系的IDE中，搜索下载CodeGeeX v2.5.0版本，深度使用最新功能。 一、新模型加持的代码补全和智能问答 以IDEA为例， ...
AI应用开发之路-准备：发起第2个开源小项目 SemanticKernel.DashScope
上周我们发布了与AI应用开发相关的第1个开源小项目 —— DashScope SDK for .NET，今天我们再发布一个开源小项目 —— SemanticKernel.DashScope，今天这个项目才是主角，因为我们想基于 Semantic Kernel 开发大模型应用 ...
朴素贝叶斯模型
朴素贝叶斯法 朴素贝叶斯是一种用先验概率估计后验概率的模型，通过估计先验概率得到样本和类别的近似联合概率，随后通过联合概率分布获得需要的后验概率分布进而实现分类。本次介绍的朴素贝叶斯法主要包括三块：总体思想(将后验概率转换为先验概率)、极大似然估计(使用极大似然法估计先验概率)、贝叶斯估计(使用贝叶 ...
万字带你了解ChatGLM
本文分享自华为云社区《【云驻共创】华为云之昇思MindSpore大模型专题（第二期）-第一课：ChatGLM》，作者： 愚公搬代码。 前言 1.昇思MindSpore 昇思MindSpore是华为公司推出的一款全场景AI计算框架。它提供了自动微分、分布式训练和推理、模型部署等功能，支持多种硬件平台， ...
监控大模型训练
监控大模型训练 大模型训练时间久，而且过程中容易出现各种各样的问题而中断，中断之后不及时续练的话对GPU资源是很大的浪费，但是我们又不能一直盯着程序。所以本文将介绍如何编写一个监控程序来监控大模型的训练，以方便我们在大模型训练出现异常时及时通知给我们。 监控的方式有很多，这里介绍两个方式。 根据lo ...
小白Windows下通过Ollama部署使用本地模型
安装环境 运行环境为 windows R9000P2021拯救者笔记本 AMD R7-5800H 32G 内存 NVIDIA RTX 3070 Laptop GPU 安装主程序 Ollama下载exe，直接下一步下一步没有设置可以更改 windows默认安装路径： C:\Users\wbigo\Ap ...
Mac下使用Docker快速布署FastGPT实现AI私有知识库
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！ 官网地址为：https://github.com/labring/FastGPT 应用场景 具体的玩法是什么：添加或者采集文 ...
使用 PMML 实现模型融合及优化技巧
在机器学习的生产环境中，我们经常需要将多个模型的预测结果进行融合，以便提高预测的准确性。这个过程通常涉及到多个模型子分的简单逻辑回归融合。虽然离线训练时我们可以直接使用sklearn的逻辑回归进行训练和调参，但在生产环境中，模型的上线往往需要使用PMML（Predictive Model Marku ...
【论文阅读】Informer Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
原始题目：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 中文翻译：Informer:超越有效变换器进行长序列时间序列预测 发表时间：2021-05-18 平台：Proceedings ...
Linux nohup命令详解
Linux nohup命令详解 我们自己笔记本或台式机的显卡往往不能支持我们进行深度学习实验或大模型训练，因此我们往往使用SSH连接服务器然后去运行代码。 有的时候我们跑的程序需要跑几个小时甚至几天，这样我们就需要一直开着电脑挂着SSH；偶尔也会遇上网络断开，程序半途中止的情况。 所以，我们需要一个 ...
K近邻模型
k近邻模型 基本思想 \(k\)近邻算法还是很直观的，准确的来说它不是一种学习算法，而是一种统计方法，不具备学习过程，一次性就可以给出结果。 其本质思想是将特征空间划分成一个个的单元(\(cell\))，其中每个\(cell\)的区域由距离该点比其他点更近的所有点定义，所有的\(cell\)组成了整 ...
【论文阅读】N-BEATS Neural basis expansion analysis for interpretable time series forecasting
原始题目：N-BEATS: Neural basis expansion analysis for interpretable time series forecasting 中文翻译：N-BEATS:可解释时间序列预测的神经基展开分析 发表时间：2020-02-20 平台：arXiv 文章链接：h ...
Sealos 是企业节省成本的终极武器
本文通过多维度，多场景对比来阐述 Sealos 为企业节省大量成本，结合一些现有客户具体的实际情况全面分析成本模型，企业可以根据自己的实际情况来对号入座，看是否适合使用 Sealos。 云操作系统节省成本核心体现在三个方面：算力节省、人力节省、效率提升。 算力节省 考虑在算力成本节省的公司通常算力规 ...
RAG实战5-自定义prompt
RAG实战5-自定义prompt 在阅读本文之前，先阅读RAG实战4。在RAG实战4中我们分析了LlamaIndex中RAG的执行过程，同时留下了一个尚待解决的问题：LlamaIndex中提供的prompt template都是英文的，该如何使用中文的prompt template呢？ 直接看以下代 ...
自我认知微调
自我认知微调 我们期望微调后的大模型是专属于我们自己的。比如询问大模型是谁或由谁训练的，大模型应当回复是由我们训练的。可以使用自我认知微调来实现这一点。自我认知微调与之前实践过的全参微调和LoRA微调并没有本质上的区别，我们既可以使用任意的微调方式来实现自我认知微调。区别在于，自我认知微调需要使用专 ...