腾讯云TokenHub在线推理和批量推理区别：实时性、接入方式、适用场景对比

在线推理和批量推理有什么区别？顾名思义，批量推理就是大批量的数据处理，在线推理就是交互式逐条推理并返回结果。在腾讯云TokenHub大模型平台在线推理支持AI模型如Hy3、Kimi K3、DeepSeek-V4-Pro等，批量推理支持GLM-5.1或GLM-5。腾讯云TokenHub官网：https://curl.qcloud.com/AqxTFnlv