摘要：
NLP and transform https://github.com/datawhalechina/happy-llm/tree/main ──────────────────────────────────────────────────────── 预训练（Pre-training） ─── 阅读全文
posted @ 2025-06-11 21:48
iTech
阅读(454)
评论(0)
推荐(0)
摘要：
LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory 什么是 LLaMA-Factory？ LLaMA-Factory 是一个由开源社区开发的工具包，旨在简化 Meta 推出的大型语言模型 LLaMA 的配置、训练和部署过程。它提供了一组易于使 阅读全文
posted @ 2025-06-11 21:46
iTech
阅读(426)
评论(0)
推荐(0)
摘要：
LLM deploy for inference (tensor parallelism, data parallelism, pipeline parallelism, expert parallelism for MOE) vLLM worker or SGLang worker or http 阅读全文
posted @ 2025-06-11 21:42
iTech
阅读(45)
评论(0)
推荐(0)
摘要：
TensorFlow、PyTorch和Triton是机器学习领域常用的深度学习框架和工具，而CUDA和Google的TPU则是与硬件加速相关的技术和产品。它们在机器学习模型的训练和推理中发挥着重要作用，利用GPU或TPU可以显著提升计算速度和效率。 TensorFlow： 由Google开发的开源机 阅读全文
posted @ 2025-06-11 21:34
iTech
阅读(44)
评论(0)
推荐(0)
摘要：
LLM蒸馏过程是指将大型语言模型（LLM）中的知识和权重转移到一个较小的模型中，以减少计算成本和内存占用，同时保持原有模型的性能。这个过程也被称为模型蒸馏或知识蒸馏。以下是LLM蒸馏过程的概述： 背景 大型语言模型虽然能够取得非常好的性能，但其计算成本和内存占用非常高，这使得它们难以部署在资源有限的 阅读全文
posted @ 2025-06-11 21:32
iTech
阅读(79)
评论(0)
推荐(0)
浙公网安备 33010602011771号