Replicate平台部署与微调大语言模型

语言模型现已登陆某机构平台

发布时间：2023年4月5日 作者：bfirsh

现在您可以在某机构平台上部署、运行和微调大语言模型。

该平台已提供 FLAN-T5、GPT-J 和 LLaMA 的官方版本，您也可以推送任何其他自定义模型。同时，平台发布了语言模型微调的预览版。

语言模型可以通过几行代码运行，就像该平台上的任何其他模型一样：

import replicate

output = replicate.run(
    "replicate/flan-t5-xl:3ae0799123a1fe11f8c89fd99632f843fc5f7a761630160521c4253149754523",
    input={"prompt": "通过逐步推理回答以下是非题。狗能开车吗？"}
)

for s in output:
    print(s, end="", flush=True)

可以通过 Python、Node.js 或 HTTP API 运行这些模型，无需自行搭建服务器或管理 GPU。

尝试以下模型：

• 某机构的 FLAN-T5 XL
• 某机构的 GPT-J-6B
• 某机构的 LLaMA

推送自定义模型

可以将任何语言模型推送到某机构平台。如果要与世界共享开源模型，可以设为公开；如果要在产品中大规模部署自定义模型，可以设为私有。

平台已编写指南，展示如何将 Hugging Face 的 Transformers 模型推送到某机构平台。

预览版：微调模型

在良好提示下，这些模型可以执行许多任务，但在自有数据上进行微调后会更加强大。可以创建了解产品的支持机器人、按个人风格撰写邮件、从文本中提取结构化数据，以及实现各种其他功能。

平台发布了云端训练模型的预览版。可以微调 FLAN-T5、GPT-J 和 LLaMA。未来将很快增加对其他模型的支持以及自定义训练脚本。

replicate.trainings.create(
   version="...",
   input={"train_data": "..."},
   destination="某机构/用户机器人",
)

目前仅向少数用户开放访问权限，未来几周将逐步开放。如需使用，请通过支持渠道联系并提供个人相关信息及使用目的。

下一步计划

开源语言模型正以非凡的速度持续改进。未来几周将发布更多指南和示例应用，展示各种可能性。欢迎关注社交媒体账号以获取更新。

期待看到您的成果。FINISHED