AI-Hub

데이터 변경이력

데이터 히스토리

소개

영상 내 모든 객체를 감지, 분할, 추적하기 위해 주류/비주류 객체 정보 수집 및 자연어 묘사 데이터가 포함된 멀티모달 데이터 수집

구축목적

본 세부과제에서는 다양한 실세계 미디어 영상으로부터 영상 내에서 객체들을 픽셀 단위로 인식 및 분류하여 다양한 응용에서 사용할 수 있도록 하는 영상 데이터를 구축하고자 함

1. 데이터구축 수량
 영상 : 4,183개, 이미지 : 314,489장

2. 데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

ㅇ 학습모델
  픽셀 단위 객체 탐지 모델 
  - Segmentation 분야는 이미지 내의 객체를 픽셀 단위로 탐지하거나 해당하는 class로 분류한다. 그 중 Panoptic Segmentation은 모든 객체를 분리하여 탐지할 뿐만 아니라, 각 객체의 class도 분류한다.

ㅇ 데이터 셋 분할

                                      <데이터 사용 단계>

                                                         <모델 학습 예시>

ㅇ 비디오 질의응답 모델
  - Video QA 분야는 동영상 내의 사건이나 객체에 대해 질의하고 질문에 알맞은 응답을 하는 분야이다.
  - HCRN 모델은 CRN 네트워크 구조를 계층화하여 비디오를 파악하고 비디오에 등장하는 객체의 모양, 동작, 상태, 시간, 행동반복에 대한 질의를 잘 수행할 수 있다.

ㅇ 데이터 셋 분할

                                      <데이터 사용 단계>

                          <모델 학습 예시>

ㅇ 활용서비스
  컴퓨터 비전 영역
  ① 객체 탐지
   - 객체 탐지 관련 분야는 컴퓨터 비전 연구의 주요 분야 중 하나이며 국내에서도 다수의 구실에서 높은 성과를 거두고 있음
    - 관련 연구실에서는 제안하는 데이터 셋을 활용하여 더욱 풍부한 실험을 통해 경쟁력 확보
  ② 영상 장면 설명문 데이터와 연계
   - 객체 탐지 분야를 기반으로 장면 설명문의 대상이 되는 객체를 효율적으로 탐색하여 설명문 생성 인공지능의 성능을 향상시키고자 하는 연구 가능

  미디어 콘텐츠 영역
  ① 하이라이트 소스 생성 서비스
   - 장면 간의 중요도를 판단하는 인공지능을 기반으로, 영상의 장면들을 분할하고 중요도가 높은 장면들을 엮어 하이라이트 영상의 소스를 제공하는 서비스 제공
  ② 영상 검색 서비스
   - 객체 검색 등을 함께 활용하여 특정 장면이 포함되어 있는 영상을 효율적으로 검색 하는 인공지능을 활용한 영상 검색 서비스 제공
  ③ 영상 추천 서비스
   - 영상의 장면들을 기반으로 사용자가 선호할만한 장면이 포함된 영상들을 추천하는 인공지능을 활용한 추천 서비스 제공

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 설명

2. json 형식
 2-1. segmentation.json
 ▼video meta data {13}
        video_id: 100,
        video_name: D1_0913_파스타-20001.mp4
        width: 1920
        height: 1080
        frame_rate: 30.0
        total_frame: 60
        duration: 2.00000
        annotated_date: 2022-09-17
        version: 1
        revised_history: 0,
        seg_annotator_id:
            "NI******"
        seg_confirmer_id:
            "NI******",
        distributor: SelectStar, Inc.,
 ▼segmentation info [2]
        ▼images: 
                image_id: 100_000,

                width: 1920,
                height: 1080,
                file_Name: 100_000.jpg
         ▼annotations: {7}
                file_name: 100_000.png,
                image_id: 100_000,
                segments_info:
                        category_id: 56,
                        id: 7127040,
                        iscrowd: 0,
                        bbox:
                            313,
                            159,
                            1075,
                            782

 2-2. categories.json
 ▼category info: {5}
        supercategory: 음악,
        isthing: 1,
        id: 1,
        name: 전자바이올린,
        color: [16, 15, 186]

 2-3. QNA.json
 ▼video meta data {17}
        video_id: 4299,
        video_name: "D1_0915_서랍장_30010.mp4",
        width: 1920,
        height: 1080,
        duration: 3.0,
        frame_rate: 30.0,
        frames: 90,
        annotated_date: "2022-09-26",
        version: 1.0,
        ▼seg_annotator_id: [7]
            "NI******"
        ▼seg_confirmer_id: [7]
            "NI******"
        ▼kqna_annotator_id: [4]
            "MO***"      
        ▼kqna_confirmer_id: [4]
            "LE***"
        ▼eqna_annotator_id: [4]

            "KO***"
        ▼eqna_confirmer_id: [4]
            "KO***"
        "distributor: "SelectStar, Inc.",
        ▼qna_info: [4]
                "ko_question": "영상 속에 드라이버가 등장하나요?",
                "ko_answer": "네, 영상 속에 드라이버가 등장합니다.",
                "en_question": "Does the screwdriver appear in the video?",
                "en_answer": "Yes, the screwdriver appears in the video."

3. 어노테이션 포맷
 3-1. segmentation.json

3-2. categories.json

3-3. QnA.json

4. JSON 실제 예시
 4-1. segmentation.json
 [
    {
        "video_id": 100,
        "video_name": "D1_0913_파스타-20001.mp4",
        "width": 1920,
        "height": 1080,
        "frame_rate": 30.0,
        "total_frame": 60,
        "duration": "2.00000",

        "annotated_date": "2022-09-17",
        "version": 1,
        "revised_history": 0,
        "seg_annotator_id": [
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI*****",
            "NI*******",
            "..."
        ],
        "seg_confirmer_id": [
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI*****",
            "NI*******",
            "..."
        ],
        "distributor": "SelectStar, Inc.",
        "images": [
            {
                "image_id": "100_000",
                "width": 1920,
                "height": 1080,
                "file_Name": "100_000.jpg"
            },
         "annotations": [
            {
                "file_name": "100_000.png",
                "image_id": "100_000",
                "segments_info": [
                    {
                        "category_id": 56,
                        "id": 7127040,
                        "iscrowd": 0,
                        "bbox": [
                            313,
                            159,

                            1075,
                            782
                        ],
                        }
                      .......

 4-2. categories.json
    {
        "supercategory": "음악",
        "isthing": 1,
        "id": 1,
        "name": "전자바이올린",
        "color": "[16, 15, 186]"
    }

 4-3. QnA.json
 [
    {
        "video_id": 4299,
        "video_name": "D1_0915_서랍장_30010.mp4",
        "width": 1920,
        "height": 1080,
        "duration": 3.0,
        "frame_rate": 30.0,
        "frames": 90,
        "annotated_date": "2022-09-26",
        "version": 1.0,
        "seg_annotator_id": [
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI*****",
            "NI*******",
            "..."
        ],
        "seg_confirmer_id": [
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI******",
            "NI*****",

            "NI*******",
            "..."
        ],
        "kqna_annotator_id": [
            "MO***",
            "CH***",
            "YU***",
            "KI***",
            "..."
        ],
        "kqna_confirmer_id": [
            "LE***",
            "CH***",
            "CH***",
            "SU***",
            "..."
        ],
        "eqna_annotator_id": [
            "KO***",
            "KW***",
            "CH***",
            "KI***",
            "..."
        ],
        "eqna_confirmer_id": [
            "KO***",
            "KW***",
            "CH***",
            "KI***",
            "..."
        ],
        "distributor": "SelectStar, Inc.",
        "qna_info": [
            {
                "ko_question": "영상 속에 드라이버가 등장하나요?",
                "ko_answer": "네, 영상 속에 드라이버가 등장합니다.",
                "en_question": "Does the screwdriver appear in the video?",
                "en_answer": "Yes, the screwdriver appears in the video."
            },
           ......
 ]

데이터셋 구축 담당자

수행기관(주관) : 스파크엑스

수행기관(참여)

데이터 관련 문의처