节点1和节点2成功使用vllm拉起prefill服务
curl测试能相应。先把Prefill跑起来,没有Decode节点也是能跑的。
今天再次测试发现,这两台实际是按照独立实例在各跑各的,没有形成集群。一步一步来,从简单到复杂。不然就是几千条的报错。