AI-Hub

가) 모델명: LLaMA 3.1
    a) 목적: 합성, 생성
    b) 선정 사유
         - 국가 R&D 사업의 결과물로써 확장성 및 기술 내재화 측면에서 모델 가중치 접근 및 수정이 자유로움
         - 본 과제에서 구축 예정인 데이터 특성(특히 한국어)에 최적화되어 있으며, 커스터마이징도 가능하여 적합할 것으로 판단함
         - 현재 가장 활발한 오픈소스 LLM 생태계를 보유하고 있으며, 다양한 커뮤니티 활동으로 파인튜닝 도구, PEFT 기법 등 다양한 연구자료 확보 가능
         - LLaMA 3.1은 다양한 크기로 제공되며, 특히 70B 이상 모델은 파인튜닝을 통해 특정 도메인 및 instruction following 작업에서 매우 우수한 성능을 달성
         - 다수의 연구를 통해 검증됨. 405B 모델까지 공개되어 향후 더 높은 성능이 요구될 경우 확장 가능
         - 데이터 주권, 보안, 한국어 특화 및 최적화 등을 고려할 때 국내 환경에서 직접 운영과 관리가 가능한 오픈소스 모델이 적합할 것으로 판단
         - LLaMA는 다양한 요구사항을 충족하며, 다수의 검증을 통해 안정성도 확보한 모델로 판단함
    c) 모델 아키텍처

    d) 모델 구조
         - LLaMA 3.1 모델은 기본적으로 Transformer 아키텍처를 따르며, 각 층은 ‘셀프 어텐션(Self-Attention)’과 ‘피드포워드 네트워크(FFN)’로 구성
         - 활성화 함수로는 SwiGLU가 사용되며, 포지셔널 정보는 RoPE(Rotary Positional Embedding)를 통해 처리
         - LayerNorm 대신 RMSNorm 정규화 기법이 도입되어 안정성과 효율을 향상시켰고, Attention 기법에는 Multi-Query Attention(MQA) 또는 ‘Grouped-Query Attention (GQA)’이 일부 변형 버전에 도입 가능
         - 고정된 어휘집(Vocabulary)과 Tokenizer를 기반으로 입력된 텍스트는 임베딩 레이어를 거쳐 수백억 개의 파라미터를 가진 네트워크를 통과하며 문맥 기반의 출력을 생성하며, 큰 모델일수록 깊은 레이어 수, 넓은 히든 사이즈, 많은 헤드를 갖음
    e) AI 모델 성능

데이터 예시

{
    "Data_info": {
        "License": "㈜데이터쿡",
        "SEQ": "A000176_01_QA2"
    },
    "Source_info1": {
        "Status1": "",
        "Knowledge Data1": "논코메도제닉 제품(Non-comedogenic product)으로 피지가 축적되어 여드름이 생길 가능성이 있는 피부에 사용 할 수 있으며 여드름이나 피부 염증을 예방하고 개선하기 위해 만들어진 화장품이다",
        "Title1": "MZ세대 여드름 피부 인식에 따른 코스메슈티컬 화장품 선택속성과 구매행동 의도에 미치는 영향 여드름관리 화장품 중심으로",
        "Author Name1": "",
        "Publisher Name (Institution Name)1": "",
        "Year of Publication1": 0,
        "File Name1_1": "",
        "File Extension1_1": "",
        "File Name1_2": "",
        "File Extension1_2": ""
    },
    "Source_info2": {
        "Status2": "",
        "Knowledge Data2": "현재 사용되고 있는 erythromycin, isotretinoin, benzoly peroxide,vitamin A acid,triclosa, azelaicacid 등의 약제들은 구순 염,점막 건조감,최기 형성작용,기미,혈전등 부작용 유발 가능성과 항생제에 내성을 갖는 P.acnes 증가의 문제가 제기되고 있으며 치료 중단시의 재발 등의 문제점이 보고되고 있다",
        "Title2": "Propionibacterium acnes와 항생제 내성Staphylococcusaureus에 대한 Bifidobacterium 종의 항균과 항염증 효과\nIn vitroevaluation ofantibacterial activitesand anti-inflammatory effectsofBifidobacterium spp.\naddressing acnevulgaris",
        "Author Name2": "",
        "Publisher Name (Institution Name)2": "",
        "Year of Publication2": 0,
        "File Name2_1": "",
        "File Extension2_1": "",
        "File Name2_2": "",
        "File Extension2_2": ""
    },
    "Source_info3": {
        "Status3": "",
        "Knowledge Data3": "",
        "Title3": "",
        "Author Name3": "",
        "Publisher Name (Institution Name)3": "",
        "Year of Publication3": 0,
        "File Name3_1": "",
        "File Extension3_1": "",
        "File Name3_2": "",
        "File Extension3_2": ""
    },
    "Source_info4": {
        "Status4": "",
        "Knowledge Data4": "",
        "Title4": "",
        "Author Name4": "",
        "Publisher Name (Institution Name)4": "",
        "Year of Publication4": 0,
        "File Name4_1": "",
        "File Extension4_1": "",
        "File Name4_2": "",
        "File Extension4_2": ""
    },
    "Source_info5": {
        "Status5": "",
        "Knowledge Data5": "",
        "Title5": "",
        "Author Name5": "",
        "Publisher Name (Institution Name)5": "",
        "Year of Publication5": 0,
        "File Name5_1": "",
        "File Extension5_1": "",
        "File Name5_2": "",
        "File Extension5_2": ""
    },
    "Human_info": {
        "Gender": "남성",
        "Age": "30대",
        "makeup frequency": "매일 한다",
        "frequent makeup products": [
            "자외선 차단제 (선크림, 선쿠션, 선스프레이 등)"
        ],
        "important attributes": [
            "지속력",
            "트러블 여부",
            "가격"
        ],
        "makeup purpose": [],
        "Skin Problem Type": "화농성 여드름 피부",
        "Skin trouble areas": "볼",
        "Skin care methods": [
            "직접 압출하거나 자가 처치를 하고 있다"
        ]
    },
    "Skin_info": {
        "worry level/situation": "그렇지 않은 편이다",
        "worry season": "",
        "Skin condition category": "복합성 피부결",
        "Skin Brightness": "Type-1 (밝은 흰 피부)"
    },
    "Annotation_info": {
        "User Question": "30대 남성으로 세종에 거주 중이며, 화농성 여드름 피부를 가지고 있습니다. 피부 톤은 밝은 흰 피부이며, 피부 타입은 지성이고, 피부 결은 복합성입니다. 평소에는 티트리, 병풀(시카), 비타민C 성분이 들어간 제품을 사용하고 있으며, 인공 색소, 인공 향료, 알코올 성분은 피하고자 합니다. 볼 부위뿐 아니라 가슴 부위에도 여드름이 발생하며, 이는 피부 성향 또는 식습관 등과 관련이 있을 수 있습니다. 메이크업 시에는 지속력, 트러블 여부, 가격에 대한 고민이 있으며, 도구 없이 손으로만 메이크업을 합니다. 지속력을 높일 수 있는 컨실러 사용법과 성분에 대해 추천받고 싶습니다.",
        "Makeup Response": "30대 한국 남성으로 세종에 거주하시며 얼굴뿐만 아니라 가슴 부위에도 화농성 여드름이 있어 고민이 크시겠네요. 컨실러의 지속력은 제품 자체보다는 기초 스킨케어 단계에서 피부 바탕을 어떻게 준비하느냐에 따라 크게 달라집니다. 우선 컨실러 사용 전에는 약산성 폼 클렌저로 과도한 유분과 노폐물을 제거하고, 토너를 활용해 피부 결 방향에 맞춰 가볍게 닦아내어 피부결을 정돈해 주세요. 이후에는 가벼운 젤 타입 수분 크림으로 충분히 보습한 뒤, 논코메도제닉(Non-comedogenic) 화장품을 사용하는 것이 좋습니다. 컨실러는 매트 또는 세미 매트 타입이 적합하며, 특히 나이아신아마이드와 같이 피지 조절 및 피부 장벽 강화에 도움을 주는 성분이 함유된 제품은 지속력을 높이는 데 효과적인 성분으로 추천 드립니다. 반면 여드름 치료제로 사용되는 erythromycin, isotretinoin, benzoyl peroxide, vitamin A acid 등은 구순염, 점막 건조, 색소침착, 혈전, 태아 기형 유발 등의 부작용과 함께 항생제 내성 및 치료 중단 시 재발 위험이 보고되고 있어 장기간 사용은 추천 드리지 않습니다. 또한 가슴 부위에 발생하는 여드름 역시 얼굴과 동일하게 청결 유지와 보습 관리가 중요하며, 땀이나 피지가 오래 머물지 않도록 세심한 관리가 필요합니다. 더불어 여드름은 단순한 피부 문제가 아니라 수면 패턴, 식습관, 스트레스 등 생활습관과도 밀접한 관련이 있으므로 내·외적 요인을 함께 관리하신다면 현재의 고민이 한층 완화될 수 있을 것으로 추천 드립니다.",
        "Recommended Ingredients": "논코메도제닉",
        "Ingredients to Avoid": "erythromycin, isotretinoin, benzoly peroxide,vitamin A acid"
    }
}