AI-Hub

데이터 변경이력

데이터 히스토리

소개

□ 군 작전 환경에서의 지능형/감시체계(비전 기반 감시체계를 통한 객체 식별) 성능 향상을 위해 사람, 장비 객체(5,000장 이상)와 군 작전 환경(5,000장 이상)이 포함된 합성데이터 100,000장 이상 구축

구축목적

□ 군 작전 환경에서의 지능형 경계/감시체계를 위한 객체 탐지 모델 및 객체 식별 모델, 상황 분류 모델 적용한 경계시스템 고도화
□ 엣지케이스 학습데이터 구축을 위한 다중 센서이미지를 활용한 고도화된 경계시스템 데이터 구축

□ 데이터 구축 규모

□ 클래스 분포

□ 시간대별 분포

□ 계절별 분포

□ 기상별 분포

□ 황천 급별 분포

□ 객체 수량별 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

□ 학습 모델
 1) 객체 탐지

Grounding DINO는 Transformer 기반 객체 탐지모델 DINO를 확장하여 개발된 오픈 셋 객체 탐지모델로, 인간이 입력한 텍스트(예: 카테고리 이름, 지시 표현)를 기반으로 임의의 객체를 탐지할 수 있도록 설계되었다. 기존의 폐쇄형 객체 탐지모델은 사전에 정의된 카테고리만 탐지할 수 있는 한계가 있었으나, Grounding DINO는 언어 정보를 활용해 새로운 객체를 탐지할 수 있는 일반화 능력을 제공한다. 이는 객체 탐지의 유연성을 크게 확장하며, 다양한 실세계 응용에서 더 높은 활용 가능성을 보여준다.

Grounding DINO 모델 구조 개요도

이 모델의 가장 큰 특징 중 하나는 언어와 비전 데이터를 긴밀히 융합하는 설계이다. 이를 위해 Grounding DINO는 세 가지 주요 융합 단계를 도입했다. 첫째, 특징 강화(feature enhancer) 단계에서는 이미지와 텍스트 간의 상호작용을 강화하기 위해 자가 주의(self-attention), 텍스트-이미지 교차 주의(text-to-image cross-attention), 이미지-텍스트 교차 주의(image-to-text cross-attention)를 활용한다. 둘째, 언어 기반 쿼리 선택(language-guided query selection) 단계에서는 입력 텍스트를 기반으로 탐지 대상이 될 가능성이 높은 이미지 영역을 선택한다. 마지막으로, 교차 모달 디코더(cross-modality decoder) 단계에서는 이미지와 텍스트 데이터를 결합하여 객체의 위치와 관련 텍스트를 예측한다. 이러한 단계별 융합 구조는 언어와 비전 데이터 간의 의미적 정렬을 효과적으로 강화하며, 탐지 성능을 크게 향상시킨다.

 2) 이미지 캡션 생성

ExpansionNet v2는 이미지 캡션 생성을 위한 새로운 모델로, 입력 시퀀스의 고정된 길이 제한을 극복하기 위해 개발되었다. 이 모델은 기존 어텐션 기반 시스템과 달리 입력 데이터를 확장하여 다양한 시퀀스 길이를 처리할 수 있는 메커니즘을 도입하였다. 이를 통해 고정된 길이 제한을 초월하고, 더 유연하고 효율적인 데이터 처리를 가능하게 하였다.

ExpansionNet v2 모델 구조

ExpansionNet v2의 핵심 기술은 Static Expansion과 Dynamic Expansion이다. Static Expansion은 고정된 길이로 확장하여 양방향 처리를 지원하고, Dynamic Expansion은 가변적 길이 확장을 통해 자동 회귀와 양방향 처리를 모두 지원한다. 이 확장 메커니즘은 시퀀스 처리에서 성능 병목 현상을 완화하며, 다양한 길이의 데이터를 효율적으로 다룰 수 있도록 설계되었다.또한, 기존 접근 방식보다 최대 2.8배 빠른 엔드투엔드 학습 전략을 통해 학습 성능과 비용 효율성을 크게 향상시켰다.
모델 구조는 Swin-Transformer 기반의 인코더-디코더 구조로 구성되어 있다. 인코더는 Static Expansion 블록을 사용해 이미지 특징을 추출하고 변환하며, 디코더는 Dynamic Expansion 블록과 교차 어텐션을 활용하여 입력 시퀀스를 처리하고 캡션을 생성한다. 최종 출력은 선형 투영층과 분류 층을 통해 도출된다. 이 과정에서 교차 엔트로피 손실과 CIDEr-D 최적화 손실을 함께 사용하여 높은 품질의 캡션을 생성한다.
성능 평가 결과, ExpansionNet v2는 MS COCO 2014 데이터 세트을 기준으로 오프라인 CIDEr-D 143.7점, 온라인 CIDEr-D 140.8점을 기록하며, 기존 모델보다 빠른 학습 속도와 우수한 성능을 입증하였다. 특히 BLEU, METEOR, ROUGE, CIDEr-D 등 다양한 평가 지표에서 높은 점수를 기록하며 최신 모델들과 비교해 경쟁력을 입증하였다. 또한, 훈련 시간은 기존 모델 대비 최대 2.8배 빠르며, 대규모 데이터 세트을 활용한 생성 모델과 비교해도 훨씬 적은 데이터와 자원으로 높은 성능을 달성하였다.
다만, 새로운 객체나 개념에 대한 일반화 성능은 최신 대규모 사전 학습 기반 모델에 비해 다소 떨어질 수 있다. 그럼에도 불구하고, ExpansionNet v2는 제한된 리소스로도 높은 성능을 요구하는 비전-언어 통합 작업에 적합하며, 학습 효율성과 확장성을 고려한 설계를 통해 이미지 캡션 생성 분야에서 새로운 가능성을 제시한다.

3) 객체 분류
Vision Transformer
알리바바 DAMO 아케데미 MIIL 팀은 “ImageNet-21K Pretraining for the Masses” 논문에서 ImageNet-21K 데이터 세트를 활용하여 다양한 모델을 사전 학습하고, 특히 Vision Transformer(ViT) 모델의 성능 향상을 보고하였따고 한다. 해당 연구에서는 ImageNet-21K 데이터 세트의 대규모 라벨 구조를 활용하여 모델의 성능을 극대화하기 위해 새로운 학습 방법론을 도입하였다고 한다.
논문에서는 WordNet 계층 구조를 기반으로 데이터 전처리를 수행하고. ‘sementic softmax’라는 새로운 손실 함수를 도입하여 ViT 모델이 더 효율적으로 학습하도록 구성했다고 한다. 이 방식은 데이터 세트의 계층적 의미 구조를 반영하여 학습 과정에서 더 나은 일반화 성능을 달성할 수 있도록 도와준다고 한다. 이러한 방법론 덕분에 모델은 다양한 클래스 간 관계를 보다 명확하게 인식하고, 분류 성능을 향상 시킬 수 있었다고 한다.

특히, ViT-B-16 모델은 ImageNet-21K-P 데이터 세트에서 77,6%의 sementic top-1 정확도를 기록했으며, ImageNet-1K 데이터 세트에서는 84.4%의 top-1 정확도를 달성했다고 한다. 이러한 성과는 Vision Transformer 모델이 대큐모 사전 학습을 통해 기존 모델보다 우수한 성능을 낼 수 있음을 보여주는 사례라고 할 수 있다.

Vision Transformer 모델 학습 파이프라인 구조

또한, 사전 학습된 모델은 다양한 다운스트림 작업에 쉽게 적용할 수 있도록 timm 라이브러리를 통해 배포되었다고 한다. 해당 모델은 ‘vit_base_patch16_224_miil_in21k’라는 이름으로 사용할 수 있으며, 연구자들은 이를 활용하여 이미지 분류, 객체 탐지, 세분화 등의 다양한 비전 작업에 적용할 수 있다고 한다.
알리바바 MIIL 팀의 연구는 대규모 데이터 세트를 활용한 사전 학습의 가능성을 넓히고, ViT 모델의 확장성 및 성능을 더욱 향상시키는데 중요한 기여를 했다고 평가할 수 있다.

□ 유효성 결과

□ 유효성 검사 환경
[바운딩 박스 객체 검출 성능]

□ 유효성 검사 환경 [바운딩 박스 객체 검출 성능]

유효성 검증 항목
항목명	바운딩 박스 객체 검출 성능
검증 방법	이미지와 캡션 데이터 2D Object Detection 학습 및 검증 수행
목적	2D 객체 검출을 통한 객체 라벨링 유효성 검증
지표	mAP(Mean Average Precision)
측정 산식
도커 이미지	Detection_Docker.tar.gz (9.8 GB)
실행 파일명	학습 : train.py, 검증 : test.py
유효성 검증 환경
CPU	Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz * 2ea
Memory	378G
GPU	NVIDIA Quadro RTX A6000 * 8ea
Storage	1.8TB
OS	Ubuntu 20.04.6 LTS
유효성 검증 모델 학습 및 검증 조건
개발 언어	Python 3.8.12
프레임워크	프레임워크 및 라이브러리	버전
	torch	1.11.0
학습 알고리즘	Grounding DINO
학습 조건	no	파라미터	파라미터 값
	1	epoch	30
	2	learning rate	0.0004
	3	weight decay	0.0001
	4	optimizer	AdamW 사용
	5	box_noise_scale	1
	6	batch size	12
	7	image size	random choice scale[(480, 1333), (512, 1333), (544, 1333), (576, 1333), (608, 1333), (640, 1333), (672, 1333), (704, 1333), (736, 1333), (768, 1333), (800, 1333)]
파일 형식	학습 : EO-Image(.png) / Label-file(.json) /          IR-Image(.png) / Label-file(.json)
	검증 : EO-Image(.png) / Label-file(.json) /          IR-Image(.png) / Label-file(.json)
전체 구축 데이터 대비 모델에 적용되는 비율	AI 모델 사용 이미지 비율
	- 구축된 전체 데이터 100%
	※ 유효성 검증은 구축된 데이터 전체를 적용하며, 변경이 필요한 경우 TTA 담당자와 협의한다.

[이미지 캡션 생성 성능]

□ 유효성 검사 환경 [이미지 캡션 생성 성능]

유효성 검증 항목
항목명	이미지 캡션 생성 성능
검증 방법	이미지와 캡션 데이터 Image Captioning 학습 및 검증 수행
목적	이미지 캡션 생성을 통한 라벨링 유효성 검증
지표	METEOR(Metric for Evaluation of Translation with Explicit ORdering)
측정 산식
도커 이미지	Captioning_Docker.tar.gz (7.92 GB)
실행 파일명	학습 : train.py, 검증 : test.py
유효성 검증 환경
CPU	Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz * 2ea
Memory	378G
GPU	NVIDIA Quadro RTX A6000 * 8ea
Storage	1.8TB
OS	Ubuntu 20.04.6 LTS
유효성 검증 모델 학습 및 검증 조건
개발 언어	Python 3.8.8
프레임워크	프레임워크 및 라이브러리	버전
	torch	1.8.1

[객체 분류 성능]

□ 유효성 검사 환경 [객체 분류 성능]

유효성 검증 항목
항목명	바운딩 박스 객체 검출 성능
검증 방법	이미지와 캡션 데이터 2D Object Detection 학습 및 검증 수행
목적	객체 클래스 분류를 통한 라벨링 유효성 검증
지표	ACC (Accuracy)
측정 산식
도커 이미지	Classification_Docker.tar.gz (8.9 GB)
실행 파일명	학습 : train.py, 검증 : test.py
유효성 검증 환경
CPU	Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz * 2ea
Memory	378G
GPU	NVIDIA Quadro RTX A6000 * 8ea
Storage	1.8TB
OS	Ubuntu 20.04.6 LTS
유효성 검증 모델 학습 및 검증 조건
개발 언어	Python 3.7.11
프레임워크	프레임워크 및 라이브러리	버전
	torch	1.9.1
학습 알고리즘	Vision Transformer
학습 조건	no	파라미터	파라미터 값
	1	epoch	80
	2	learning rate	3.00E-04
	3	weight decay	1.00E-04
	4	optimizer	adam
	5	batch size	384
	6	image size	(224, 224)
파일 형식	학습 : EO-Image(.png) / Label-file(.json) /
	IR-Image(.png) / Label-file(.json)
	검증 : EO-Image(.png) / Label-file(.json) /
	IR-Image(.png) / Label-file(.json)
전체 구축 데이터 대비 모델에 적용되는 비율	AI 모델 사용 이미지 비율
	- 구축된 전체 데이터 100%
	※ 유효성 검증은 구축된 데이터 전체를 적용하며, 변경이 필요한 경우 TTA 담당자와 협의한다.

설명서 및 활용가이드 다운로드

□ 데이터 구성 및 구축 규모

□ 폴더명 구성 정보

□ 파일명 구성 정보

□ 어노테이션 포맷

□ 데이터 실제 예시
 1) 원천 데이터 

2) 라벨데이터(JSON)

{    "image": {
        "filename": "EO_SU_DT_W1_H1_A1_0001.jpg",
        "id": "0001",
        "date": "2024-09-20",
        "width": 1920,
        "height": 1080,
        "ref": null,
        "sensor": 1
    },
    "env": {
        "season": 1,
        "night": 1,
        "weather": 1,
        "wave": 1
    },
    "annotations": [
        {
            "class": 1,
            "sub_class": 11,
            "bounding_box": [
                44,
                37,
                462,
                542
            ]
        }
    ],
    "object_num": 1,
    "caption": "여름 하늘이 맑은 주간 바다에 북 어선 한 척이 저 멀리 지나가고 있고 파도 1단계이다."
}

데이터셋 구축 담당자

수행기관(주관) : 흥일기업㈜

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처