在Replicate上部署与微调大型语言模型

语言模型现已登陆 Replicate

您现在可以在 Replicate 上部署、运行和微调大型语言模型。
平台已经提供了 FLAN-T5、GPT-J 和 LLaMA 的官方版本，同时您也可以推送任何其他自定义模型。此外，模型微调功能也已进入预览阶段。

与平台上的其他模型一样，仅需几行代码即可运行语言模型：

import replicate

output = replicate.run(
    "replicate/flan-t5-xl:3ae0799123a1fe11f8c89fd99632f843fc5f7a761630160521c4253149754523",
    input={"prompt": "Answer the following yes/no question by reasoning step by step. Can a dog drive a car?"}
)

for s in output:
    print(s, end="", flush=True)

您可以从 Python、Node.js 或通过 HTTP API 运行这些模型，无需自行设置服务器或 GPU。
欢迎尝试：

• Google 的 Flan-T5 XL
• EleutherAI 的 GPT-J-6B
• 某机构的 LLaMA

推送自定义模型

您可以将任何语言模型推送到 Replicate。如果您想与全世界分享开源模型，可以将其设为公开；如果您希望为您的产品大规模部署自定义模型，则可以将其设为私有。
已编写指南，指导如何将某机构的 Transformers 模型从 Hugging Face 推送到 Replicate。

预览：微调模型

在合适的提示下，这些模型可以完成许多任务，但当它们基于您自己的数据进行微调后，其能力将更为强大。您可以创建了解您产品的支持机器人、以您的风格撰写电子邮件、从文本中提取结构化数据，以及实现各种功能。

现发布在云端 Replicate 上训练模型的预览功能。您可以对 Flan-T5、GPT-J 和 LLaMA 进行微调。很快将增加对其他模型以及您自定义训练脚本的支持。

replicate.trainings.create(
   version="...",
   input={"train_data": "..."},
   destination="bfirsh/hackerbot",
)

初期仅向少数用户开放此功能，并将在未来几周内逐步扩大开放范围。如果您希望使用该功能，请联系支持人员，提供更多关于您自己以及您希望如何使用它的信息。

后续计划

开源语言模型正以惊人的速度发展。将在未来几周内发布更多指南和示例应用，向您展示各种可能性。请通过某社交平台关注以获取最新动态。
期待看到您的作品。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码