Anticipation of ㅁTraffic Accident by Deep Learning Model with Only Object Information

Abstract

모든 차량의 가장 중요한 요소는 안전하게 주행하는 것이다. 이것은 자율 주행 기술에서도 마찬가지이다. 복잡한 상황속에서도 갑작스럽게 일어날 수 있는 교통사고를 사전에 예견하고 이를 바탕으로 사고를 회피할 수 있어야 한다. 최근에, 인공 신경망 모델을 사용하여 교통사고를 예견하는 연구들이 이루어지고 있다. 하지만, 종래의 교통사고 예견 방법들은 교통사고 유무 자체를 예견하는 면에서는 높은 성능을 보이나 어떤 객체와 사고가 일어날 것인지를 예견하는 면에서는 낮은 성능을 내는 한계가 있었다. 또한 인공신경망을 사용하기 위한 입력된 데이터의 전처리 과정에서 사용되는 연산 량은 사고 자체를 예견하기 위한 인공 신경망에 사용되는 연산량 보다 훨씬 많은 양을 필요로 하고 있다. 실시간 교통사고를 예방하기 위해서는 이러한 한계점을 개선해야 한다. 본 연구에서는, 차량에 부착된 1인칭 카메라 영상 정보만을 사용하여 심층학습 기반으로 교통사고를 예측하며 이때 카메라로부터 검출된 객체들의 바운딩 박스 정보만을 입력으로 사용한다. 본 연구에서 새롭게 제안하는 방법은 크게 두가지 단계로 나뉜다. 첫번째, 객체의 바운딩 박스 만을 입력으로 받으며 광학 흐름 정보를 입력으로 받는 대신 연속된 프레임에서의 바운딩 박스 간의 차를 사용하여 객체의 움직임 정보를 계산해낸다. 입력 받은 객체 정보와 계산된 움직임 정보를 통해 객체의 미래 위치를 예측한다. 두번째, 예측한 정보를 바탕으로 입력 받은 각 객체들의 사고 확률을 계산한다. 예측 결과값들은 기존 연구들에 사용되던 데이터셋과 새롭게 수집 및 정리한 데이터셋에 대하여 성능을 평가한다. 성능 평가는 기존 연구들과 비교되어 평가되었으며, 평가 기준인 mAP에서 13% 높은 성능을, 충돌 전 예측 시간의 경우 기존보다 6.6% 낮은 성능으로 평가되었으며 요구 메모리 크기는 50% 줄어들었으며 마찬가지로 수행 시간 또한 50% 가량 낮아졌다. 추가로 본 연구에서 사용된 인공신경망은 새로 수집된 한국 교통사고 데이터에 대해서도 높은 성능을 보이며 다양한 사고 영상에 대해 적용이 가능함을 보였다.|Safe driving is most important for any manual, semi- or full autonomous vehicles. For this, an intelligent agent or human driver should anticipate and prevent any traffic accidents that may happen suddenly in complex traffic environments. In anticipating traffic accidents, it is important to know when and where an accident will occur as both accurately and early as possible. This can provide human driver or agent with what object is impending threat to his/her vehicle. Recent researches could anticipate very early and accurately when accidents would occur for the accident anticipation task. However, these showed relatively low performance for anticipating which object will make an accident (accident object anticipation task). Moreover, these researches require both a large amount of memory and computing power for object and motion detection tasks for anticipating traffic accidents. For the real time accident anticipation, these limitations should be relaxed as much as possible. This thesis proposes a new deep learning-based method to improve performance for the accident object anticipation task using a new deep learning model with only bounding box information from 1st person camera (so called dashcam) in a vehicle. The new method is based on two stages: In first prediction stage, an agent predicts future locations of the detected objects represented by bounding boxes by using both bounding box features and differential motion of the bounding boxes without using optical flows. In the second stage, the agent computes the accident probability of each object by using the hidden states in the prediction stages. Effectiveness of the proposed method was validated by testing the existing and newly collected dataset that includes multiple accident videos and normal driving videos. The performance was compared with the previous methods, showing significantly better mAP (13%) with slightly less time-to-collision (6.6 %), less memory (50 % reduction), and less inference time (50% fast) in accident object anticipation than the previous state-of-the-art method. Moreover, the proposed method generalizes well to the newly collected Korean traffic accident dataset.