AI-Hub

○ 학습 모델 : Qwen 3 VL 8B Instruct
  - Multimodal Vision-Language 모델
  - Transformer 기반 멀티모달 아키텍처
  - 시각적 질의응답(VQA), 이미지 캡셔닝, 객체 인식
  - Qwen3 LLM에 비전 인코더와 멀티모달 처리 레이어 결합 구조 

○ 학습 알고리즘
  - 영상 내 이벤트 발생 여부 판단
  - CoT 단계별 추론과정 제시

○ 학습 프로세스 
  - Caption + bbox 기반 프레임 구성
  - QA 페어 및 CoT 3단계 추론 설명 생성
  - Prompt 템플릿으로 입력 구성 (Q + Video + [답변/추론])
  - Qwen3-VL 모델에 입력하여 next-token 학습 (CLM)
  - 예측 결과와 정답 시퀀스를 비교해 CrossEntropyLoss 계산

1. 데이터 구성

2. 어노테이션 포맷

3. 예시: JSON
{
  "videos": [
    {
      "filename": "lo_e1015_c1.mp4",
      "width": 1920,
      "height": 1080,
      "date": "2025-07-31",
      "time": "08:29:31",
      "length": 31.03,
      "cctv_distribution": "P4",
      "cctv_camera": "CDO-TP237IRXF",
      "cctv_angle": "A180",
      "source": "or",
      "view": "c1"
    },
    {
      "filename": "lo_e1015_c2.mp4",
      "width": 1920,
      "height": 1080,
      "date": "2025-07-31",
      "time": "08:29:30",
      "length": 30.17,
      "cctv_distribution": "P4",
      "cctv_camera": "CDO-P236XEA1",
      "cctv_angle": "A180",
      "source": "or",
      "view": "c2"
    }
  ],
  "annotations": {
    "event_class": "특정 구역 내 지속 배회",
    "question": "영상에서 '특정 구역 내 지속 배회' 이벤트가 발생했는지와, 이를 뒷받침하는 근거는 무엇인가?",
    "caption": {
      "c1": {
        "caption_text": "'특정 구역 내 지속 배회' 상황으로 분류된 객체 상황 3개가 17.2초 동안 연속적으로 관찰되었음.",
        "cot": {
          "1단계": "사람 1이 화면 원경을 응시하며 도로 위를 배회하고 있음",
          "2단계": "사람 1이 차량 근처에서 화면 우측 건물 방향으로 이동하고 있음",
          "3단계": "사람 1이 검은색 자동차가 위치한 방향으로 이동하고 있음"
        }
      },
      "c2": {
        "caption_text": "'특정 구역 내 지속 배회' 상황으로 분류된 객체 상황 3개가 18.5초 동안 연속적으로 관찰되었음.",
        "cot": {
          "1단계": "사람 1이 아스팔트 위를 이동하고 있음",
          "2단계": "사람 1이 화면 좌측 건물 인근에서 배회 중임",
          "3단계": "검은색 차량 근처에서 사람 1이 화면 우측 방향으로 걸어가고 있음"
        }
      }
    },
    "answer": "영상 속에서 '특정 구역 내 지속 배회' 이벤트가 드러남.",
    "evidence": {
      "c1": {
        "evidence_text": "프레임 범위 413~930에서 객체 1번이 연속 추적됨. 프레임 ID 힌트: [412, 519, 862]. 시작/끝 프레임과 박스 연속성으로 이벤트 일관성이 확인됨.",
        "frame_id": [
          412,
          519,
          862
        ],
        "obj_id": [
          "1",
          "1",
          "1"
        ],
        "obj_bbox": [
          [
            743,
            495,
            831,
            693
          ],
          [
            954,
            475,
            1035,
            666
          ],
          [
            862,
            441,
            939,
            607
          ]
        ],
        "obj_label": [
          "human",
          "human",
          "human"
        ]
      },
      "c2": {
        "evidence_text": "프레임 범위 348~904에서 객체 1번이 연속 추적됨. 프레임 ID 힌트: [174, 302, 422]. 시작/끝 프레임과 박스 연속성으로 이벤트 일관성이 확인됨.",
        "frame_id": [
          174,
          302,
          422
        ],
        "obj_id": [
          "1",
          "1",
          "1"
        ],
        "obj_bbox": [
          [
            866,
            367,
            949,
            560
          ],
          [
            419,
            455,
            536,
            693
          ],
          [
            896,
            468,
            1018,
            713
          ]
        ],
        "obj_label": [
          "human",
          "human",
          "human"
        ]
      }
    }
  }
}