AI-Hub

ㅇ임무 정의
  - 한글 및 영문 텍스트 입력을 통한 한국 전통 민화가 그려진 건축물, 생활소품 등의 신규 2D이미지 생성

ㅇ 임무 선정 사유
 - Text To Image 방식의 대표적인 이미지 생성 인공지능 모델의 대표적인 방식으로 구축 전통민화의 이미지-텍스트 쌍의 데이터를 활용하여 학습모델 구축
 - 구축한 한국 전통 민화 이미지-텍스트 쌍 학습 데이터를 text to image 인공지능 모델을 통해 학습하고 한글 및 영문 텍스트 입력을 통해 한국 전통 민화가 그려진 신규 이미지 결과가 올바르게 생성되는지를 확인하여 구축 데이터에 대한 유효성을 검증

ㅇ학습 모델 개발 환경
  - 학습 환경: Ubuntu, Python, Pytorch, GPU
  - 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
  - 모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
  - 성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정

ㅇ최종 선정 모델
  - stable-diffusion-v1-5
   * Stable Diffusion 1.5 버전에 대해서 CLIP 모델을 사용하여 Diffusion 모델의 Tokenizer 와 Text Encoder를 대체한 모델
   * Stable Diffusion 1.5 의 라이센스인 CreativeML Open RAIL-M을 따르는 오픈소스 모델로서 영어 및 한국어 처리를 위해 적합한 모델
   * Hugging Face 사이트로부터 다운로드 가능

 [ stable-diffusion-v1-5 모델 ]

  * Stable Diffusion 모델
● 2022년 Stability AI에서 오픈소스 라이선스로 배포한 이미지 생성 모델
● Text2image은 물론 image2image, depth2img 등 이미지 처리와 관련된 생성형 인공지능 모델로 폭넓게 활용되고 있음
● Creative ML OpenRAIL-M 라이선스에 따라 수정된 소프트웨어를 사용, 변경 및 재배포할 수 있음
● 모델의 접근성 및 사용성이 높기 때문에 인공지능 개발자 커뮤니티에서의 폭넓게 활용되고 있어 모델 활용성이 뛰어남

[ Stable Diffusion 모델의 구조 ]

 ㅇ학습 데이터 생성
    - 학습 데이터 이미지 전처리
       * 이미지 리사이징(512*512)
       * 균등 패딩 적용
    - 학습 데이터 포맷 변경 및 분할(9:1 로 분할)
       * train – 전처리 이미지, metadata.jsonl
       * test - 전처리 이미지, metadata.jsonl

 ㅇ학습 알고리즘
    - LoRA(Low-Rank Adaptation) 파인튜닝 적용
    - LoRA는 모델 전체를 업데이트하지 않고, 일부 파라미터에 대해 저차원 행렬을 추가적으로 학습시켜 빠르고 효율적인 파인튜닝 수행
    - 기존 모델의 원래 가중치는 고정되고, 저차원 행렬만 학습하여 학습할 파라미터 수가 줄어들어 효율적인 학습이 가능
    - 기존의 전체 모델 파라미터를 업데이트하는 방식보다 메모리와 계산 비용이 크게 감소

[ LoRA(Low-Rank Adaptation) 파인튜닝 ]

ㅇAI 모델 성능
 

○ 라벨링데이터 포맷

○ 메타 데이터 포맷

○ json 예시(한국 전통 민화 이미지 캡셔닝)
{
  "info": {
    "Acknowledge": "2025",
    "version": "1.0.0",
    "copyright": "에이치씨아이플러스 컨소시엄. AI 학습 목적 외에 저작권자의 동의 없이 상업적 목적으로 이용할 수 없습니다."
  },
  "images": {
    "file_name": "IM_0001",
    "base_name": "IM_0001",
    "object_file_name": "IM_0001_1, IM_0001_2",
    "format": "jpg",
    "img_width": 373,
    "img_height": 1080,
    "img_dpi": 300,
    "collect": "직접촬영"
  },
  "folkpainting": {
    "folkpainting_name": "무신궁행차도",
    "subject_type": "인물화",
    "subject_type_id": "IM",
    "theme_type": "인물",
    "object": "관념산수",
    "purpose": "장식",
    "drawing_type": "채색",
    "painting_type": "일필",
    "ground_material": "한지",
    "sources": "가회민화박물관",
    "creator": "미상",
    "era": "광복이후",
    "region": "미상",
    "picture_width_cm": 77.0,
    "picture_height_cm": 26.5,
    "description": "무신궁행차도이다. 작품 상단에는 나무가 무성한 산이 그려져 있고, 산 속에는 깃발 두 개가 높이 서 있고, 건물 3개와 폭포가 있다. 작품 중앙에는 건물들이 있고, 건물 주변에 화려한 복장의 무신들이 있다. 작품 하단에는 양산을 쓴 인물과 양산을 든 인물, 모자를 쓴 인물이 있다."
  },
  "caption": {
    "caption_kor": {
      "overview_kor": "이 작품은 광복이후에 한지 위에 채색 기법으로 그려진 '무신궁행차도'로, 인물화를 통해 한국 전통 민화의 기법과 의례적 장면 재현 양상을 잘 보여주는 대표적 사례이다.",
      "composition_kor": "작품의 중앙에는 화려한 의복을 갖춘 무신과 수행원들이 엄숙하게 행렬을 이루며, 주변에는 각종 깃발, 화려한 산수와 소나무, 전통 건축 구조물이 입체적이고 선명한 원색으로 조화롭게 배치되었고, 위쪽에는 능선과 산이 연이어 펼쳐지며 전체 공간을 입체적으로 감싸고 있다.",
      "production_kor": "이 작품은 광복이후 한지에 분채와 농채를 병용하여 선명하고 화려한 원색을 두드러지게 사용하였으며, 명확한 먹선과 반복적 패턴의 장식 표현이 인물의 형태와 화려한 의복을 섬세하게 부각시킨다.",
      "symbolism_kor": "작품에 등장하는 산과 건물, 깃발, 그리고 각기 다른 의복을 입은 인물들은 권위와 신성, 무관의 위엄, 의식의 엄정함 등 집단적 권력과 질서, 신비성을 상징하며, 산과 소나무는 영구불변함과 초월적 경계를 의미한다.",
      "keyword_kor": "한국전통민화, 인물화, 무신, 행렬, 산수, 권위, 집단의식, 신성, 전통의례",
      "normal_kor": "광복이후 제작된 인물화 민화 '무신궁행차도'는 엄숙한 의복의 무신 및 수행원들이 길게 늘어선 행렬을 중심으로, 주변에 산과 소나무, 전통 건축, 깃발, 각종 도상들이 원색 채색과 반복적 선묘로 강인하게 묘사된 작품이다. 인물 각각의 복색과 위치, 주변 산수와의 입체적 구도를 통해 집단권위와 신성함, 그리고 민화적 해학이 녹아들어 한국 전통의 집합적 가치와 미의식, 의례적 풍경 재현의 정수를 보여준다.",
      "object1_kor": "가운데 부분의 인물들은 붉은색, 푸른색, 노란색 등 채도가 높은 색상으로 화려하게 치장된 전통복을 입고 있으며, 머리에 갓이나 관모를 쓴 모습이 엄숙함을 부각시킨다. 주변에는 기하학적 패턴이 반복된 깃발, 난간, 지붕 장식이 장식적으로 배치되어 있고, 배경의 산과 소나무가 짙은 먹선으로 경계를 구성하여 인물과 사물의 대비를 선명하게 한다.",
      "object2_kor": "하단부 중심에는 넓은 소매와 색동 의복을 입은 무신이 단정하게 좌정해 있고, 곁에는 우산과 깃발을 든 수행자들이 엄숙하게 배치되어 있다. 이들의 각진 얼굴 표현과 단단한 자세, 손에 든 상징적 도구들은 권위와 충성, 집단의 질서를 구체적으로 드러낸다."
    },
    "caption_eng": {
      "overview_eng": "This artwork, titled \"Musin-gung Haengchado,\" is a post-liberation Korean minhwa painted in color on hanji, and is a representative example depicting ritual scenes and the traditional style of Korean figure painting.",
      "composition_eng": "At the center of the work, military officers adorned in vibrant traditional attire march in a solemn procession, surrounded by diverse flags, vivid mountains, pine trees, and architectural motifs, all rendered in luminous primary colors; the upper area features overlapping ridges and mountains embracing the entire composition in a three-dimensional manner.",
      "production_eng": "Created after Korea's liberation, this painting utilizes both opaque and translucent coloring techniques on hanji to achieve strikingly bold colors and patterns. Clear ink outlines and decorative repetition highlight the figures' forms and the ornate details of their clothing.",
      "symbolism_eng": "The mountains, buildings, flags, and figures in their distinctive costumes symbolize authority, sanctity, martial dignity, and the rigor of ceremony, while the mountainous landscape and pine trees represent the enduring and transcendental boundaries of tradition.",
      "keyword_eng": "Korean traditional minhwa, figure painting, military officer, procession, landscape, authority, collective consciousness, sanctity, traditional ceremony",
      "normal_eng": "Musin-gung Haengchado, a post-liberation figure minhwa, places the solemn procession of officers and attendants at the center, surrounded by mountains, pine trees, traditional pavilions, and various ritual symbols, all depicted with vibrant colors and repetitive line work. The attire, placement of each figure, and the spatial relationship with surrounding landscapes exemplify the collective authority, sacredness, and humorous elements unique to minhwa, reflecting the artistic spirit and ceremonial scenery of Korean tradition.",
      "object1_eng": "The central figures are dressed in vibrantly colored traditional robes of red, blue, and yellow, with their heads adorned with hats or coronets, creating a dignified and ceremonial atmosphere. Flags bearing geometric patterns, railings, and roof decorations are decoratively arranged, while the mountains and pine trees in the background, expressed in bold ink lines, set a strong visual contrast against the distinct forms and attire of the figures.",
      "object2_eng": "In the lower central area, a military officer in a wide-sleeved, multicolored garment sits upright, flanked by attendants holding umbrellas and flags, each arranged in a formal and respectful manner. The angular features and steadfast postures of the figures, along with the symbolic objects they carry, vividly express authority, loyalty, and the order of the collective group."
    }
  }
}