MOT16 evaluation 하는 방법

MOT16?

MOT16은 tracking Method를 평가하는 챌린지이다. Multiple Object Tracking Benchmark에서 확인 가능하다. testset을 test하기 위해서는 가장 먼저 회원가입을 진행해야 한다.

를 보면 빈칸들이 있는데 각각 채워주면 된다.

• First name : 이름
• Surname : 성
• Affilliation : 학교
• Email : 이메일
• Supervisor : 지도교수
• Supervisor : 지도교수 이메일

하루 이틀정도 지나면 메일이 오는데 확인 메일을 받은 후에 personal url, 학교 url, 아이디, 비밀번호를 작성해주면 프로필이 완성된다.

MOT challenge

그 후에 submit을 들어가면 MOT에 Create a new method라고 생성이 되는데 적절하게 생성해주면 아래 그림 처럼 나오게 된다.

밑에 보이는 MOT16 결과를 얻기 위해서는 Submit Results에 도구 그림을 클릭하면 아래와 같은 그림이 나오게 되는데

새롭게 만들어주면 된다.

• Benchmark: MOT16
• Hardware: 그냥 자신의 하드웨어를 적어주면 된다. GPU memory, CPU core등을 작성하면 되고
• Runtime: 그냥 테스트용으로 적기 위해서 265.3으로 작성했다.
• Training: 이건 training dataset을 썻는지 안 썻는지를 작성하면된다.

이렇게 작성하면 Upload하라고 나오는데 그곳에 txt file을 format에 맞게 넣어주면 된다. 포멧은 다음 링크에서 확인 가능하다. Result_format, GT_format gt format은 알 필요없고 result format만 있으면 된다.

다음과 같이 결과가 나오게 된다. 나 같은 경우에는 test용으로 2023 WACV에서 나온 SGT를 이용해 실험을 했고 SGT 실험 결과를 확인해보고 싶으면 여기를 확인하면 된다.