AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 동화 구성 및 내용에 적절한 그림 삽화를 손쉽게 제공하기 위한 동화 이미지 (이미지 변환) 및 텍스트 데이터, 이미지 캡션 데이터

구축목적

- 동화를 기반으로, 인공지능 학습용 데이터 구축 개방을 통한 문화, 출판, 교육, 분야에 디지털대전 생태계 조성 및 일상화 실현

- 데이터 구축 규모

-  데이터 분포
 - 콘텐츠 분류(어린이용 동화, 소설 도서 누리과정 5개 영역)
 - 교육부 2022년 누리과정 5개 분류 및 수업 시간 비율로 분포 산정

 - 출판사 도서 통계를 기준으로 유아의 경우 스토리당 평균 단락 수 20개,  초등 저학년의 경우 단락 수 평균 40개, 초등 고학년의 경우 단락 수 평균 70개를 기준으로 분류 비율 산정

 - 줄거리 유형 (2가지) 
 1) 지시문: 핵심용어를 2개 이상 포함하여 이미지를 설명하는 문장으로 작성
 2) 발화문: 핵심용어를 2개 이상 포함하여 이미지를 기준으로 사람이 말하는 문장으로 작성

    * 핵심용어: FairytaleQA Paris & Paris(2003)의 7가지 프로토콜인 인물, 행동, 배경, 감정, 인과, 해결, 예측을 기준으로 선정

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

- 모델 선정 및 개발 관련
     - Latent Diffusion Model(LDM) 또는 Stable Diffusion(https://arxiv.org/abs/2112.10752)은 2022년 CVPR이라는 인공지능 및 컴퓨터비전 분야 최상위 학술대회에서 발표된 방법론으로 최근 확산(Diffusion) 모델 기반 영상 생성 기술에서 가장 널리 활용되고 있는 기술 중 하나임
     - 기본적으로 확산(Diffusion) 모델은 생성 재현 퀄리티(Fidelity)가 아주 우수하고 생성된 이미지의 다양성(Diversity)이 아주 뛰어난 모델로 알려져 있고, 이는 기존 Generative Adver sarial Networks(GANs)에 비해 그 성능과 확장성이 매우 뛰어나다고 알려져 있음
     - 하지만 이러한 확산 기반 생성 모델은 학습 속도와 생성 속도가 매우 느림
     - 이를 극복하기 위하여 LDM 기술은 영상을 Latent Space로 Embedding 시키고 이 Space에서 Diffusion 모델을 학습함으로써 학습 속도와 생성 속도를 모두 개선하였음
     - 또한 LDM은 기 학습된(Pre-trained) 모델을 공개한 거의 유일한 모델이기 때문에 전이학습(Transfer Learning) 등으로 파인 튜닝하여 활용 가능함

                                                      [LDM 모델의 논리적인 작업 흐름도]

     - LDM의 경우 CLIP 모델에서 영어 텍스트를 기본으로 하여 영어 텍스트와 이미지의 Latent Vector를 정합하였기 때문에, 추가적으로 한국어 텍스트를 이용하여 텍스트와 이미지의 Latent Vector 정합을 위한 파인 튜닝 과정이 필요함
       (1) 베이스 모델로 현재 공개된 LDM pretrained 모델(https://stablediffusionweb.com/) 사용
       (2) 텍스트 인코더 Korean CLIP으로 수정(https://huggingface.co/Bingsu/my-korean-stable-diffusion-v1-5)
       (3) 구축된 데이터를 LORA(https://huggingface.co/blog/lora)를 통해서 파인 튜닝을 진행

- 유효성 검증 방법
     - 유효성 검증의 경우 FID score와 IS(Inception Score)를 활용하여 정량적으로 평가함
     - FID Score는 실제 이미지와 생성된 이미지 간의 특징 거리 측정에 가장 널리 사용되는 매트릭 중 하나로, 프레쳇 거리(Frechet Distance)는 곡선을 따라는 점들(points)의 위치와 순서를 고려한 곡선 간의 유사성을 측정하는 방법임. 이는 두 분포 사이의 거리를 측정하는 데에도 사용됨
     - IS(Inception Score) 메트릭은 Google의 "Inception" 이미지 분류 네트워크를 기반으로 다음의 2가지 분포를 이용해 생성된 이미지에 대해 0(최악)에서 무한대(최상)까지의 범위로 점수를 측정함 
       1. 확률 분포(probability distribution) : 생성된 이미지에 하나의 잘 정의된 항목이 포함되어 있는지, 또는 이미지 분류 모델이 식별하기 어려운 일련의 항목이 포함되어 있는지 확인하여 이미지 품질을 측정함
       2. 주변 분포(marginal distribution) : 생성된 모든 이미지에 대한 확률 분표를 비교하여 하나의 객체가 얼마나 다양하게 표현되는가를 측정함. 즉, 하나의 객체의 집중 분포(focused distribution. 하나의 객체로 구분 가능한 이미지의 수)와 모든 객체의 균등 분포(uniform distributuon. 모든 객체의 각각의 이미지 수)를 표시하여, 하나의 객체가 얼마나 다양하게 표시될 수 있는지에 대한 분포를 도출함으로써 이미지의 다양성을 측정함
     - FID score 지표는 이미지 생성 모델의 성능을 평가하는 데 특히 유용함. 이미지 생성 모델은 텍스트의 정보를 기반으로 새로운 이미지를 생성하므로, 생성된 이미지의 내용이 텍스트의 내용과 완벽하게 일치하지 않을 수 있음. 이런 경우에도 FID score를 통해 이미지의 품질을 공정하게 평가할 수 있음
     - 한편, FID score와는 다른 관점으로 이미지의 품질과 다양성을 판단하는 IS(Inception Score)를 활용함. FID score가 원본 이미지와 생성 이미지의 차이의 분포로 평가하는 반면, IS는 생성된 이미지 데이터로 품질과 다양성을 평가함

설명서 및 활용가이드 다운로드

- 데이터 구성

- 어노테이션 포맷

- 데이터 포맷
 - 원문데이터 포맷 화면 예시

- 실제 예시
 - 원천 및 라벨링 데이터(JPG)

 - 원천 및 라벨링 데이터(JSON)

데이터셋 구축 담당자

수행기관(주관) : ㈜미니게이트

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처