节点1和节点2成功使用vllm拉起prefill服务
curl测试能相应。先把Prefill跑起来,没有Decode节点也是能跑的。
今天再次测试发现,这两台实际是按照独立实例在各跑各的,没有形成集群。一步一步来,从简单到复杂。不然就是几千条的报错。
本文分享自 算力网络探索 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!