gongzb

摘要： 一、下载nornir_mcp仓库 git clone https://github.com/yhvh-chen/nornir_mcp.git 二、安装创建python虚拟环境，安装依赖包 uv venv --python 3.12 nornir_mcp cd nornir_mcp .\.venv\S 阅读全文

摘要： 大型语言模型（LLMs）在2024年继续发挥其重要作用，多个重大进展完全超越了之前的模型。重点继续放在像Meta、Qwen或Google这样的公司开发的更小、更强大的模型上。这些模型不仅变得更加强大，而且更加高效。我们得到了参数量小至1B的Llama模型，其性能甚至超越了Llama 2 13B。 L 阅读全文

摘要： 大型语言模型（LLMs）在过去一年中取得了许多进展。我们从现在ChatGPT的竞争对手发展到一个包含Meta AI的Llama 3，Mistral的Mistral和Mixtral模型，TII的Falcon，以及许多其他模型。 本文博客将指导您如何使用Hugging Face进行开放LLM的微调TRL 阅读全文

摘要： 大型语言模型（LLMs）在过去一年中取得了许多进展。我们从现在ChatGPT的竞争对手发展到一个包含Meta AI的Llama 3，Mistral的Mistral和Mixtral模型，TII的Falcon，以及许多其他模型。 这些LLMs可以用于各种任务，包括聊天机器人、问答、无需额外训练的摘要。然 阅读全文

摘要： Falcon 180B是Falcon LLM家族的最新版本。它是最大的开源模型，拥有180B参数，并在更多的数据上进行训练 - 3.5T个令牌，上下文长度窗口最多为4K个令牌。在这个示例中，我们将展示如何在多GPU机器上使用DeepSpeed、Hugging Face Transformers、Lo 阅读全文

摘要： 一、点乘 卷积的底层逻辑就是点乘，点对点的相乘之后再相加 二、点乘的功效 1.衡量相似程度和影响程度，例如：5 * 3 = 15, 5 * 6 =30 所以 6对5的影响更大一些。 如果相比较数组A与 数组B、数组C哪个更相似 A序列 B序列 C序列 先做归一化处理或模长相等才有比较意义 举一个简单 阅读全文

摘要： 前言 DeepSpeed核心思想 DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑。 比方说，我们只有一张10GB的GPU，那么我们很可能需要借助80GB的CPU，才能够训练一个大模型。 看一下官网对于这个理念的描述： Why would you want to use DeepSpe 阅读全文

摘要： 准备环境，并初始化项目目录 Python版本的MCP servers开发过程用uv管理是最连贯的，本文全程以uv命令演示。 # 1、安装uv curl -LsSf https://astral.sh/uv/install.sh | sh # 初始化项目目录 uv init mcp-calculato 阅读全文

摘要： 转自：https://mp.weixin.qq.com/s/OMpD6ITqNi4jX95nSRC2Ig 在人工智能的浪潮之巅，大型语言模型（LLM）的进化速度令人瞩目。然而，如何让这些模型不仅“能说”，更能“会道”，使其回答更符合人类的价值观、偏好和期望，成为了业界的核心挑战。为了实现这一目标，一 阅读全文

摘要： 转自：https://2048.csdn.net/682c359d606a8318e8581619.html 在 DeepSpeed 中进行多机多卡训练时，需要进行以下几方面的配置和设置： 1. 设置主节点和节点之间的通信 为了使各节点（机器）能够相互通信，你需要设置主节点的地址和端口。DeepSp 阅读全文