Visual Multi-Object Tracking with Re-Identification using Labeled Random Finite Sets

Abstract

본 논문은 베이즈 필터링(Bayesian filtering)을 통해 객체 출현 및 재출현 그리고 가림 현상과 같은 문제를 해결하는 향상된 온라인 비주얼 다중 객체 추적(multi-object tracking)을 기법을 소개한다. 먼저, 객체의 사라짐 및 재출현 문제 해결을 위해, 라벨링 된 확률 유한 집합(labeled random finite set) 필터링 알고리즘을 제안한다. 이는 객체 관리를위해객체들의특징을활용하고,객체검출(detection)에대해선형시간복잡도로 작동하는새로운모델을포함한다.또한,궤적의겹침과크기를고려한퍼지(fuzzy)검출 모델이 가림 현상(occlusion) 처리를 개선하며, 계산 시간을 최소화하기 위해 근사화된 필터도함께제시된다.다음장에서는제안하는다중객체추적알고리즘을 2D이미지에 서실제 3D좌표로확장한다.이접근법은단안카메라의 2D검출들을통합함으로써 3D 다중 객체 추적을 향상시키고, 카메라 재구성 시 검출기 재학습의 필요성을 제거한다. 이를통해트랙초기화및종료,재식별,가림현상처리를단일베이즈필터링재귀로통 합하고, 나아가 객체의 특징, 운동 데이터, 기하학적 가림 모델을 활용하여 제안 기법의 효율성을 높인다. 마지막으로, 2D 바운딩 박스 검출만을 사용하여 실시간 다중 카메라 다중 객체 추적(multi-camera multi-object tracking)을 위한 빠른 온라인 알고리즘이 고 안된다. 이 방법은 다중 센서(multi-sensor) generalized labeled multi-Bernoulli 필터를 – iii – 낮은복잡도와정확도손실없이구현가능하게하고,동적카메라구성에대한강건함을 보여준다.|This dissertation introduces advanced methods for online visual multi-object track- ing (MOT), addressing challenges like object appearance-reappearance and occlusion, using Bayesian filtering techniques. We first introduce an algorithm that leverages la- beled random finite set (LRFS) filtering to tackle disappearance and reappearance issues, incorporating a novel model that utilizes object features to manage reappearing objects with linear complexity relative to the number of detections. A fuzzy detection model is also introduced to enhance occlusion handling by considering track overlaps and sizes. To reduce computational time, we propose an approximation of this filter. In the next chapter, we extend our proposed multi-object tracking algorithm from 2D images to 3D real-world coordinates. More specifically, this approach enhances 3D multi-object tracking by integrating 2D detections from monocular cameras, elim- inating the need for detector retraining upon camera reconfiguration. This solution combines track initiation/termination, re-identification, and occlusion handling into a single Bayes filtering recursion, with improved efficiency through feature and kinematic incorporation, and a geometric occlusion model. In the last chapter, a rapid online al- gorithm is presented for real-time multi-camera multi-object tracking, using only 2D bounding box detections. This method simplifies the Multi-Sensor Generalized La- beled Multi-Bernoulli (MS-GLMB) filter to achieve a low-complexity implementation, demonstrating faster performance without accuracy loss, and robustness to dynamic camera configurations.