我想用深度学习和计算机视觉技术来检测和统计葡萄园中葡萄的数量。我正在使用YOLOv4对象检测器,并对暗网框架进行培训。我已经能够将排序跟踪器集成到我的应用程序中,并且运行良好,但我仍然存在以下问题:
您可以在下面的图像中看到重新分配问题的示例。如您所见,在帧40中,id 9是一个金属柱,而帧42以后则被分配到一棵树上。
在寻找这些问题的原因时,我了解到DeepSORT是这类问题的改进版本,它的目的是通过使用神经网络将跟踪与检测相关联来处理这个问题。
问题:
我面临的问题是培训这种特殊的模式为深井。我已经看到作者使用余弦度量学习来训练他们的模型,但是我不能为我的自定义课程定制学习。我的问题如下:
提前感谢您的帮助!
发布于 2021-05-21 17:12:31
是的,您可以对DeepSORT使用相同的类。排序分两个阶段进行,DeepSORT添加了第三个阶段。第一阶段是检测,由YOLOv3处理,第二阶段是航迹关联,由卡尔曼滤波和IOU处理。DeepSORT实现了第三阶段,一个暹罗网络,比较当前检测和每个轨道的特征之间的外观特征。我见过实现使用ResNet作为特性嵌入网络
基本上,一旦YOLO检测到您的类,您就会将裁剪后的检测图像传递到您的暹罗网络中,并将其转换为特征嵌入,并将这些特性与使用余弦距离的过去的特性进行比较。
总之,您可以对DeepSORT和SORT使用相同的YOLO类,因为它们都需要一个由YOLO处理的检测阶段。
https://stackoverflow.com/questions/67484547
复制相似问题