AI-Hub

가) 모델명: LLaVA-NeXT
     a) 목적: 분류
     b) 선정 사유
          - 다양한 인종의 미묘한 피부톤과 질감을 정확하게 분석하기 위해서는 고해상도 이미지 처리 능력이 매우 중요
          - LLaVA-NeXT는 고해상도 이미지 처리 분야에서 명확한 개선을 보여주었으며, 이는 임무1(분류)의 정확도를 높이고 결과적으로 임무 2(추론)와 임무 3(생성)의 완성도 향상에 기여할 것으로 판단됨
          - 405B 모델까지 공개되어 향후 더 높은 성능이 요구될 경우 확장 가능성도 열려 있음.
          - LLaVA-NeXT는 개선된 추론 능력과 강력한 기반 언어 모델(Llama-3)의 생성 능력을 결합하여, 합리적인 추천(임무2)과 함께 설득력 있고 자연스러운 설명 및 가이드 생성(임무3)에서 시너지를 발휘할 가능성이 높음
     c) 모델 아키텍처

     d) 모델 구조
          - LLaVA-NeXT는 이미지와 텍스트를 동시에 처리할 수 있는 멀티모달 구조를 기반으로 고해상도 이미지는 AnyRes 기법을 통해 여러 패치로 나누어 처리되며, 이 정보는 Vision Transformer 기반의 인코더를 통해 시각적 임베딩으로 변환
          - 동시에, 사용자로부터 입력된 질문이나 지시는 텍스트 형태로 언어 모델(예: LLaMA3, Qwen 등)에 주어지며, 이미지 임베딩과 텍스트 임베딩은 통합되어 대규모 언어 모델(LLM)의 입력으로 전달되고, 이 모델은 이를 바탕으로 자연어 형태의 응답 또는 추론 결과를 생성
          - 이 구조는 단순하면서도 효율적인 데이터 흐름을 통해 고성능의 시각-언어 이해 능력을 달성하며, 특히 OCR과 문서 이해, 비정형 시각 정보 처리에 강점

나) 모델명: LLaMA 3.1
     a) 목적: 합성, 생성
     b) 선정 사유
          - 국가 R&D 사업의 결과물로써 확장성 및 기술 내재화 측면에서 모델 가중치 접근 및 수정이 자유로움
          - 본 과제에서 구축 예정인 데이터 특성(특히 한국어)에 최적화되어 있으며, 커스터마이징도 가능하여 적합할 것으로 판단함
          - 현재 가장 활발한 오픈소스 LLM 생태계를 보유하고 있으며, 다양한 커뮤니티 활동으로 파인튜닝 도구, PEFT 기법 등 다양한 연구자료 확보 가능
          - LLaMA 3.1은 다양한 크기로 제공되며, 특히 70B 이상 모델은 파인튜닝을 통해 특정 도메인 및 instruction following 작업에서 매우 우수한 성능을 달성
          - 다수의 연구를 통해 검증됨. 405B 모델까지 공개되어 향후 더 높은 성능이 요구될 경우 확장 가능
          - 데이터 주권, 보안, 한국어 특화 및 최적화 등을 고려할 때 국내 환경에서 직접 운영과 관리가 가능한 오픈소스 모델이 적합할 것으로 판단
          - LLaMA는 다양한 요구사항을 충족하며, 다수의 검증을 통해 
  안정성도 확보한 모델로 판단함
     c) 모델 아키텍처

     d) 모델 구조
          - LLaMA 3.1 모델은 기본적으로 Transformer 아키텍처를 따르며, 각 층은 ‘셀프 어텐션(Self-Attention)’과 ‘피드포워드 네트워크(FFN)’로 구성
          - 활성화 함수로는 SwiGLU가 사용되며, 포지셔널 정보는 RoPE(Rotary Positional Embedding)를 통해 처리
          - LayerNorm 대신 RMSNorm 정규화 기법이 도입되어 안정성과 효율을 향상시켰고, Attention 기법에는 Multi-Query Attention(MQA) 또는 ‘Grouped-Query Attention (GQA)’이 일부 변형 버전에 도입 가능
          - 고정된 어휘집(Vocabulary)과 Tokenizer를 기반으로 입력된 텍스트는 임베딩 레이어를 거쳐 수백억 개의 파라미터를 가진 네트워크를 통과하며 문맥 기반의 출력을 생성하며, 큰 모델일수록 깊은 레이어 수, 넓은 히든 사이즈, 많은 헤드를 갖음
     e) AI 모델 성능

데이터 예시

{
    "Data_info": {
        "license": "㈜데이터쿡"
    },
    "Human_info": {
        "UID": "ET20488",
        "Age": "20대",
        "Gender": "여성",
        "Continent": "기타",
        "Country of Birth": "카자흐스탄",
        "Region of Residence in Country of Birth": "Шымкент",
        "Region of Residence in Korea": "서울",
        "Duration of Stay in Korea": "1"
    },
    "Shoot_info": {
        "Date of Shooting": "2025/09/04",
        "Shooting Device": "GALAXY 24 Ultra",
        "Resolution": "3000X4000",
        "File Extension": "JPG",
        "Image File Name1": "ET20488_5L32K.jpg",
        "Image1_Ev": "Auto",
        "Image1_ISO": "100",
        "Image1_S": "1/125",
        "Image1_lux": "500",
        "Image1_Kelvin (K)": "3200",
        "Image File Name2": "ET20488_5L56K.jpg",
        "Image2_Ev": "Auto",
        "Image2_ISO": "100",
        "Image2_S": "1/125",
        "Image2_lux": "500",
        "Image2_Kelvin (K)": "5600",
        "Image File Name3": "ET20488_5KL32K.jpg",
        "Image3_Ev": "Auto",
        "Image3_ISO": "100",
        "Image3_S": "1/250",
        "Image3_lux": "5000",
        "Image3_Kelvin (K)": "3200",
        "Image File Name4": "ET20488_5KL56K.jpg",
        "Image4_Ev": "Auto",
        "Image4_ISO": "100",
        "Image4_S": "1/250",
        "Image4_lux": "5000",
        "Image4_Kelvin (K)": "5600"
    },
    "Skin_info": {
        "Skin Colorimeter": "Spectrophotometer CM26d",
        "Forehead Colorimeter Reading (Lab)": "65.32667, 7.65667, 17.58333",
        "Left Cheek Reading (Lab)": "69.64000, 7.72000, 16.15667",
        "Right Cheek Reading (Lab)": "68.73667, 8.13333, 15.53333",
        "Neck Reading (Lab)": "65.10667, 7.01333, 18.33667",
        "Forehead Colorimeter Reading (RGB)": "183.70433, 152.92046, 127.63807",
        "Left Cheek Reading (RGB)": "195.03442, 164.41118, 141.33932",
        "Right Cheek Reading (RGB)": "192.85375, 161.77875, 140.13003",
        "Neck Reading (RGB)": "182.43487, 152.69664, 125.70047",
        "Forehead Colorimeter Reading (ITA)": "41.0781",
        "Left Cheek Reading (ITA)": "50.55827",
        "Right Cheek Reading (ITA)": "50.34044",
        "Neck Reading (ITA)": "39.51036",
        "ITA Avg.": "45.37179",
        "Fitzpatrick": "II",
        "Skin Tone": "흰피부"
    },
    "Survey_info": {
        "Survey_Skin Condition": "복합성 피부결(부위별로 건조/유분/각질 등이 섞여 있는 피부)",
        "Survey_Glasses": "아니오",
        "Survey_Beard": "아니오",
        "Survey_Hair": "롱(등에 닿음)",
        "Survey_Hair texture": "직모",
        "Survey_Hair style": "머리를 묶지 않음",
        "Survey_Hair Color": "다크브라운",
        "Survey_focus areas": "눈"
    },
    "Survey_setting_info": {
        "Survey_setting_Makeup Season": "여름",
        "Survey_setting_Makeup Purpose": "데일리",
        "Survey_setting_Makeup Clothes": "드레스업 캐주얼 (미니스커트, 크롭탑 등)",
        "Survey_setting_Makeup Style": "성숙/우아",
        "Survey_setting_Makeup Condition": "기분이 좋은"
    },
    "Annotation_info": {
        "User Question": "20대 카자흐스탄 여성으로 장발입니다. 한국 여름은 날씨가 너무 더워 두꺼운 파운데이션을 사용하기 꺼려집니다. 땀 때문에 화장이 쉽게 무너져서 고민인데, 얇은 베이스로도 화장이 오래 지속되고 번짐 없는 여름철 메이크업 픽서 활용법이 궁금합니다.",
        "Makeup Response": "20대 카자흐스탄 여성의 복합성 피부는 한국 여름철의 덥고 습한 기후에서 쉽게 땀이 나 화장이 무너질 수 있습니다. 카자흐스탄은 내추럴하면서도 정돈된 피부 표현을 선호하므로, 얇은 베이스와 픽서를 활용해 지속력을 높이는 방법이 바람직합니다. 여름철 땀으로 인한 화장 무너짐을 해결하기 위해 파운데이션을 브러시나 스펀지에 소량만 묻혀 얇게 펴 바르고, 픽서를 베이스 전, 후 두 차례 사용하는 것이 효과적입니다. 먼저 파운데이션 브러시에 픽서를 가볍게 뿌려 함께 밀착시킨 후, 메이크업 완성 후 얼굴 전체에 안개처럼 픽서를 분사하면 무너짐 없이 오래 지속됩니다. 이러한 방법으로 메이크업을 시도하면 도움이 됩니다."
    }
}