※ 내국인만 데이터 신청이 가능합니다.
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2026-09-08 데이터 개방 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2026-09-08 산출물 공개 AI모델, AI모델 동영상, 샘플데이터 소개
텍스트 뿐만 아니라 이미지까지 처리하여 대화할 수 있는 언어 모델 학습을 위한 데이터셋. - 도메인 : 이미지와 텍스트 모두에 대한 이해가 있어야 대화가 가능한 패션으로 도메인을 설정. - 대화 내용 : 패션 주제를 정해 놓고 이에대해 system과 user가 서로 대화를 나누는 내용으로 구성. 주로 user가 패션에 대한 지식이나 이미지를 요청하고 system이 그에대한 답변으로 관련 지식이나 이미지를 찾아주는 형태를 가짐. - 의도 및 감정 라벨링 : user 및 system의 발화와 함께 발화가 가지는 의도 (intent), 감정 (sentiment)을 함께 라벨링함. - 패션 속성 리스트 라벨링 : user가 어떤 종류의 패션 이미지를 원하는지 패션 속성 리스트 (state)를 라벨링함. 대화 도중 요구하는 패션 이미지가 달라지면 state 또한 초기화 됨. - 모달 간 상호참조 정보 라벨링 : 대화 내 모달 간 상호참조 정보 (coreference)를 라벨링하여 모델이 텍스트가 어느 이미지의 어떤 부분을 가리키는지 학습할 수 있도록 함. - 한글로 구축 된 데이터 셋
구축목적
텍스트로 이루어진 대화 뿐만 아니라 이미지까지 포함된 대화도 언어모델이 처리할 수 있도록 하는 것이 목적.
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 , 이미지 데이터 형식 json 데이터 출처 수집 및 AI hub data의 'K-Fashion 이미지' 데이터 라벨링 유형 질의응답(자연어)/텍스트 스팬(텍스트)/바운딩박스(이미지/동영상) 라벨링 형식 json 데이터 활용 서비스 챗봇 서비스, 이미지 세부 인식 성능 개선 데이터 구축년도/
데이터 구축량2024년/40,461개의 이미지를 포함하는 15,293 개 대화 -
데이터 통계량
데이터 통계량 통계량 수치 대화 (전체) 15,293 대화 (state 정보 포함) 12,687 대화 (coreference 정보 포함) 12,670 세션 (대화가 지속적으로 이어진 시간적 기간) 30,792 대화 평균 발화 수 35 대화에 등장한 패션 이미지 40,461 대화에 포함된 unique 패션 이미지 29,829 대화에 포함된 query된 패션 속성 58,156 대화에 포함된 query된 unique 패션 속성 2,634 대화에 포함된 평균 coreference 19 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드KoMMERCE 활용 AI 모델: 학습 방법 및 활용 시나리오
KoMMERCE를 AI 모델 학습과 서비스 개발에 사용하는 방법을 설명합니다. 공개 기준 결과와 별도의 지도 미세조정 방법을 구분하여 제시합니다.목차
데이터셋 페이지 기재용 요약
활용 AI 모델 정보
모델의 학습·평가 대상
공개 기준 모델의 평가 방법
권장 모델 학습 방법
활용 시나리오
데모 영상
적용 시 유의사항
관련 문서
요약
활용방법 : KoMMERCE는 한국어 패션 추천 대화에서 사용자의 감정과 의도를 파악하고, 시스템의 대화 전략과 누적 선호 상태를 추적하며, 텍스트·이미지에 등장하는 상품 간 참조와 관계를 이해하는 멀티모달 대화 모델 개발에 활용/테스트할 수 있습니다. 구체적으로, 한국어 대화 문맥과 선택적 패션 이미지를 입력받아 분류 label, 누적 상태, mention cluster, relation triplet 또는 검색 후보 번호를 자연어/JSON 형식으로 출력하게 학습하여 모델을 학습 및 테스트할 수 있습니다.활용 예시 1. 멀티모달 대화모델의 이미지 세부 인식 및 장기 대화 성능 벤치마크 : 공개 기준 결과는 사전학습된 Qwen checkpoint에 KoMMERCE 학습을 추가하지 않은 zero-shot 방식으로 측정했습니다. 모델을 별도로 학습할 때는 동일 대화의 turn이 서로 다른 split에 섞이지 않도록 dialogue ID 단위로 train/validation/test를 분리하고, 각 benchmark label을 assistant 정답 JSON으로 변환하여 지도 미세조정합니다. 학습 비용을 줄이려면 LoRA를 적용하고, 멀티모달 학습에서는 대화 안의 이미지 순서와 annotation의 image reference를 유지합니다. Validation 결과로 checkpoint와 hyperparameter를 선택한 뒤 보존된 test split은 최종 평가에 한 번만 사용합니다.
활용 예시 2. 패션 추천용 멀티모달 대화모델 : 학습된 모델은 사용자가 입력한 선호 조건과 이미지를 해석하고 대화 상태를 갱신한 뒤, 상품 검색 시스템에서 적절한 후보를 선택하여 응답을 생성하는 패션 추천 챗봇에 활용할 수 있습니다. 이 밖에도 고객 의도·감정 분석, 상담 전략 추천, 대화 중 상품 상호참조 해석, 이미지 및 패션 지식 검색 모델 개발에 사용할 수 있습니다. 서비스 활용 모습은 패션 추천 대화 챗봇 데모 영상에서 확인할 수 있습니다.
1. [활용예시 1. 밴치마크] 활용 AI 모델 정보
1. [활용예시 1. 밴치마크] 활용 AI 모델 정보 항목 내용 모델 이름 Qwen/Qwen3-VL-32B-Instruct-FP8 모델 계열 이미지와 텍스트를 함께 처리하는 Vision-Language Model(VLM), Instruct checkpoint 모델 규모 약 33B parameters 모델 역할 대화 문맥·패션 이미지 이해, 구조화된 benchmark prediction 생성 입력 최근 4/8/16개 대화 turn, 현재 발화, 선택적 이미지, task별 후보 목록 출력 분류 label, 상태 집합, mention/관계 또는 검색 후보 번호를 담은 JSON 추론 엔진 vLLM 공개 패키지의 학습 여부 KoMMERCE 추가 학습 없음; pretrained checkpoint를 zero-shot 평가 모델 파일 패키지에 포함하지 않으며 모델 배포처에서 별도로 준비 Qwen3-VL은 텍스트와 이미지 입력을 함께 처리하며, DeepStack을 통해 여러 단계의 vision feature를 language model에 결합하는 구조를 사용합니다. 이 패키지는 모델을 재학습시키는 대신 task 설명, label 정의, 대화 문맥과 선택지를 prompt로 구성하고 vLLM을 통해 응답을 생성합니다.
2. [활용예시 1. 밴치마크] 모델의 학습·평가 대상
2. [활용예시 1. 밴치마크] 모델의 학습·평가 대상 AI task 모델 입력 지도학습 목표 평가 지표 Sentiment 사용자 발화와 이전 대화 positive, negative, neutral Macro-F1 Intent 사용자 발화와 이전 대화 6개 사용자 의도 Macro-F1 Strategy 이전 대화와 system 발화 6개 시스템 대화 전략 Macro-F1 State tracking 대화 문맥과 상태 후보 현재 누적 query-state Joint Goal Accuracy Span detection 발화 또는 이미지와 mention 후보 text span 또는 image mention Instance-averaged F1 Coreference 대화와 mention 목록 동일 entity의 mention cluster Exact-cluster F1 Relation 대화와 entity pair ATTRIBUTE, UP_DOWN, PART_OF Instance-averaged F1 Image retrieval 대화 문맥과 11개 이미지 후보 정답 이미지 번호 Top-1 accuracy Text-knowledge retrieval 대화 문맥과 11개 지식 후보 정답 article 번호 Top-1 accuracy Classification task는 하나의 label을 학습하고, 나머지 task는 set, cluster, triplet 또는 후보 index를 구조화된 JSON으로 생성하도록 학습합니다. Multimodal variant는 text 입력에 대화 이미지 또는 검색 후보 이미지를 함께 제공합니다.
3. [활용예시 1. 밴치마크] 공개 기준 모델의 평가 방법
공개 결과는 fine-tuning 결과가 아니라 KoMMERCE의 활용 가능성을 확인하기 위한 reference benchmark입니다.data.json
→ 38개 평가 JSON 생성
→ task별 prompt와 text/image 입력 구성
→ Qwen3-VL zero-shot 추론
→ JSON parsing
→ task별 metric 계산
→ CSV/Markdown 결과표 생성
주요 추론 조건3. [활용예시 1. 밴치마크] 공개 기준 모델의 평가 방법 주요 추론 조건 항목 설정 Model Qwen/Qwen3-VL-32B-Instruct-FP8 Context length 4, 8, 16 turn Modality text, multimodal Temperature 0 Seed 42 Maximum model length 32,768 tokens Maximum output 기본 4,096 tokens; span detection 1,024 tokens 모델 결과 지표
아래 값은 text/multimodal과 context 4/8/16 reference 실행에서 관측된 primary metric의 최솟값과 최댓값입니다.3. [활용예시 1. 밴치마크] 공개 기준 모델의 평가 방법 모델 결과 지표 AI task 지표 Reference score 범위 Sentiment Macro-F1 0.3334–0.6668 Intent Macro-F1 0.6529–0.8718 Strategy Macro-F1 0.4428–0.9265 State tracking Joint Goal Accuracy 0.2720–0.8240 Span detection Instance-averaged F1 0.5611–0.6963 Coreference Exact-cluster F1 0.0365–0.7120 Relation Instance-averaged F1 0.1667–0.8656 Image retrieval Top-1 accuracy 0.7080–0.8720 Text-knowledge retrieval Top-1 accuracy 0.5560–0.6320 54개 설정에서 13,018개 prediction을 생성했으며 전체 JSON parse failure는 73개(0.56%)였습니다. Task별 상세 결과와 표본 수는 Qwen 참고 결과에서 확인할 수 있습니다. 서로 다른 modality와 context 결과는 평가 표본 구성이 다를 수 있으므로 동일 표본의 controlled ablation으로 해석하지 않습니다.
4. [활용예시 2. 대화모델학습] 권장 모델 학습 방법
다음 절차는 KoMMERCE로 Qwen 계열 VLM을 지도 미세조정할 때 사용할 수 있는 권장 방법입니다. 공개 패키지의 reference 결과를 생성한 절차와는 별도입니다.4.1 데이터 분할
data.json을 dialogue ID 단위로 분리합니다.
시작 구성으로 train 80%, validation 10%, test 10%를 사용할 수 있습니다.
동일 dialogue의 turn과 파생 sample은 반드시 하나의 split에만 포함합니다.
Classification label과 text/multimodal 비율이 split마다 지나치게 달라지지 않도록 분포를 확인합니다.
분할 seed와 dialogue ID 목록을 저장하여 실험 간 평가 표본을 고정합니다.
원본 데이터에는 고정된 train/validation/test field가 없으므로 80/10/10은 필수 공식 split이 아니라 재현 가능한 학습을 위한 권장 예시입니다.4.2 학습 sample 변환
각 sample을 Qwen chat format의 user/assistant 쌍으로 변환합니다.User message: task 설명, 허용 label, 최근 대화 문맥, 현재 발화, 선택지
Image input: 원본 turn 순서에 맞춘 로컬 이미지
Assistant target: annotation에서 만든 정답 JSON만 포함
Loss mask: system/user prompt token을 제외하고 assistant target token에 causal language-modeling loss 적용
{
"messages": [
{
"role": "user",
"content": "다음 사용자 발화의 intent를 분류하세요. ..."
},
{
"role": "assistant",
"content": "{\"intent\": \"REFINED REQUEST\"}"
}
]
}
이미지가 필요한 sample은 user content의 해당 위치에 image item을 삽입하고, 이미지 경로가 존재하는지 학습 전에 검사합니다. 하나의 image placeholder는 하나의 이미지 파일과 대응해야 합니다.4.3 지도 미세조정
학습에는 FP8 추론 checkpoint보다 학습을 지원하는 BF16 또는 호환 Qwen3-VL Instruct checkpoint를 사용합니다. GPU 자원이 제한되면 full fine-tuning 대신 LoRA를 우선 적용할 수 있습니다.4. [활용예시 2. 대화모델학습] 권장 모델 학습 방법 4.3 지도 미세조정 항목 권장 시작값·방법 학습 목적함수 Assistant target token의 causal language-modeling loss Parameter update LoRA 또는 full fine-tuning LoRA target 예시 Language attention의 q_proj, k_proj, v_proj, o_proj Precision BF16 지원 GPU에서는 BF16 mixed precision Epoch 1–3회에서 validation metric으로 선택 Optimizer AdamW Scheduler Cosine decay, warmup ratio 0.03을 시작값으로 사용 Batch GPU 메모리에 맞춰 micro-batch와 gradient accumulation 조정 Checkpoint Validation primary metric이 가장 높은 checkpoint 저장 Qwen 공식 fine-tuning framework의 dataset format, component tuning option, LoRA/DeepSpeed 설정을 기준으로 실제 GPU 환경에 맞게 조정합니다. 학습률과 vision encoder의 동결 여부는 모델 크기와 task 조합에 따라 validation set으로 결정해야 합니다. 여러 task를 함께 학습할 경우 표본 수가 큰 task에 학습이 치우치지 않도록 task별 sampling ratio를 설정합니다.
4.4 검증과 최종 평가
각 epoch 또는 정해진 step마다 validation split의 primary metric을 계산합니다.
Classification은 Macro-F1, state tracking은 Joint Goal Accuracy, retrieval은 Top-1 accuracy를 우선 확인합니다.
JSON parse failure rate와 label별 prediction 분포를 함께 점검합니다.
Hyperparameter와 checkpoint 선택을 끝낸 뒤 test split은 한 번만 평가합니다.
Base checkpoint, code version, split seed, 학습 인자와 metric을 함께 기록합니다.
5. 활용 시나리오
5.1 멀티모달 패션 추천 챗봇
사용자가 “출근할 때 입을 검은색 재킷을 보여줘”와 같은 문장 또는 참고 이미지를 입력하면 모델이 intent와 패션 속성을 추출하고 대화 상태에 누적합니다. 검색 모듈은 누적 조건을 사용해 상품 후보를 가져오고, 모델은 대화 문맥과 후보 이미지를 함께 검토하여 추천 응답을 생성할 수 있습니다.사용자 문장·이미지
→ 의도/감정 분석
→ 색상·종류·기장 등 선호 상태 갱신
→ 상품·지식 후보 검색
→ 이미지와 대화 문맥 기반 후보 선택
→ 추천 설명 또는 추가 질문 생성
사용자가 “두 번째 상품과 비슷하지만 더 긴 것”처럼 이전 상품을 다시 지칭하면 coreference와 relation annotation을 이용해 어떤 상품과 속성을 가리키는지 해석할 수 있습니다. 조건이 부족하면 strategy prediction을 이용해 색상, 용도, 기장 등을 묻는 clarification 응답을 선택할 수 있습니다.5.2 상담 분석과 응답 전략 추천
고객 발화의 intent와 sentiment를 분류하여 상담 현황 집계
현재 대화에서 필요한 상담 전략을 상담원에게 추천
누적된 query state를 상담 화면에 요약
Parse failure와 오분류 sample을 검토하여 서비스 품질 개선
5.3 상품·패션 지식 검색
대화 조건에 가장 부합하는 상품 이미지 검색
패션 용어 질문에 필요한 지식 article 검색
이미지와 텍스트에 함께 등장하는 상품의 entity 및 관계 연결
사용자 피드백을 반영한 후속 검색과 후보 재정렬
6. 데모 영상
영상은 사용자가 챗봇과 대화하며 원하는 패션 조건을 구체화하고 추천을 받는 서비스 활용 모습을 보여줍니다. 공개 benchmark package는 이와 같은 서비스를 구성할 때 필요한 대화 이해·상태 추적·참조 해석·검색 능력을 개별 task로 평가합니다.지식기반대화를 위한 복합대화모델 연구 – 1단계 통합 실증 영상을 교육활용동영상 항목에서 확인
7. 적용 시 유의사항
KoMMERCE는 모델 학습과 평가용 데이터이며 상품 재고·가격·구매 기능을 포함한 완성형 commerce service가 아닙니다.
실제 서비스에서는 상품 catalog 및 검색 API를 별도로 연결해야 합니다.
이미지 URL은 변경되거나 접근이 제한될 수 있으므로 이용 조건을 확인한 뒤 허용된 이미지를 로컬에 준비하는 것을 권장합니다.
추천 결과에서 특정 체형, 성별 또는 가격대에 대한 편향이 나타나는지 별도로 점검해야 합니다.
사용자의 개인정보나 민감 속성을 필요 이상으로 저장하거나 추론하지 않아야 합니다.
공개 reference score는 특정 checkpoint와 실행 환경에서 얻은 예시이며 학습된 모델의 일반적인 성능을 보장하지 않습니다.
8. 관련 문서 (배포 코드에 포함, AI모델 파일 참조)
데이터 구성 및 어노테이션 포맷
Quick Start
상세 실행 가이드
벤치마크와 평가 지표
활용 예시URL:
Qwen3-VL-32B-Instruct-FP8 모델 카드
Qwen3-VL 공식 fine-tuning guide -
KoMMERCE 어노테이션 포맷 및 데이터 구조
KoMMERCE는 대화 원문과 어노테이션을 하나의 UTF-8 JSON 파일 data.json으로 제공합니다. 이 문서는 원본 데이터의 구성, 어노테이션 필드, 실제 레코드와 평가 파일 변환 결과를 설명합니다.목차
데이터 구성
어노테이션 포맷
데이터 포맷
최종 데이터 포맷: 실제 예시
평가 파일 생성
선택 사항: 단일 평가 bundle
1. 데이터 구성
제공 파일1. 데이터 구성 제공 파일 구분 파일·참조 포맷 수량 설명 원본 대화 및 어노테이션 data.json JSON 1개 대화 단위 JSON 객체의 배열 대화 data.json[*] Object 15,293건 하나의 패션 상담 대화와 어노테이션 이미지 dialog[*].msg.images[*].src URL reference 40,461건 이미지 파일 자체는 별도 이용 조건 적용 변환 평가 데이터 data/eval_datasets/*.json JSON 38개 prepare-data 명령으로 생성 data.json의 크기는 377,089,446 bytes이며 원본에는 고정된 train/dev/test split 필드가 없습니다. 제공된 변환기가 seed 42와 modality/context 조건에 따라 평가 파일을 생성합니다.
대화 구성
1. 데이터 구성 대화 구성 구성 요소 수량 비고 전체 dialogue 15,293 최상위 데이터 단위 전체 turn 554,636 text, image, session separator 합계 Text turn 498,676 user/system 발화 Image turn 40,461 이미지 reference 포함 Session separator 15,499 세션 경계 표시 User turn 270,359 speaker=user System turn 268,778 speaker=system 어노테이션 구성
1. 데이터 구성 어노테이션 구성 어노테이션 적용 범위·수량 설명 Intent 270,359개 user turn CHAT, REQUEST 등 6개 의도 Sentiment 270,348개 user turn neutral, negative, positive Strategy 228,317개 system turn CLARIFICATION, SUGGESTION 등 6개 전략 State tracking 12,687개 대화, 408,015개 state record query/request state Cross-reference 12,670개 대화 entity, mention, relation 어노테이션 Entity 181,502개 동일 대화 안의 참조 대상 Mention 425,750개 text 392,815개, image 32,935개 Relation 145,873개 attr, up_down, part Text knowledge 31,018개 system turn 1,779개 고유 article ID 참조 주요 분류 label 분포는 다음과 같습니다.
주요 분류 label 분포 어노테이션 Label 수량 Intent REFINED REQUEST 76,381 Intent CHAT 74,894 Intent EVALUATION 39,072 Intent KNOWLEDGE 30,997 Intent REQUEST 27,815 Intent DETAIL 21,200 Sentiment neutral 210,888 Sentiment negative 31,218 Sentiment positive 28,242 Strategy CLARIFICATION 66,157 Strategy SUGGESTION 39,777 Strategy PRE-SUGGESTION 35,864 Strategy CHAT 34,350 Strategy KNOWLEDGE 30,985 Strategy DETAIL 21,184 2. 어노테이션 포맷
최상위 dialogue object2. 어노테이션 포맷 최상위 dialogue object 항목 속성명 타입 필수 여부 설명 메타정보 meta Object 필수 대화 주제와 설명 대화 주제 meta.topic String 필수 패션 상담의 주제 대화 설명 meta.chat_desc String 필수 대화 내용 설명 대화 ID id String 필수 dialogue 고유 식별자 작업 상태 state String 필수 어노테이션 작업 상태 대화 내역 dialog Array 필수 시간순 turn 배열 생성 시각 creation_time String 필수 데이터 생성 일시 수정 시각 last_modified String 필수 마지막 수정 일시 상태 어노테이션 state_label Array 조건부 State tracking label이 있는 대화에 제공 참조 어노테이션 cr_label Object 조건부 Entity/relation label이 있는 대화에 제공
Dialog turn2. 어노테이션 포맷 Dialog turn 항목 속성명 타입 필수 여부 설명 발화자 speaker String 필수 user, system, session_seperator 메시지 유형 msg_type String 필수 text, image, session_seperator 메시지 msg Object 또는 String 필수 Text/image 세부 정보 또는 세션 경계 문구 메시지 ID msg_id String 조건부 Text/image turn 고유 ID 세부 메시지 ID msg.eid String 조건부 Text/image message 고유 ID 발화 내용 msg.text String Text 필수 실제 user/system 발화 발화 어노테이션 msg.annotation Object Text 필수 intent, sentiment 또는 strategy 외부 지식 msg.info Object System 조건부 text/image knowledge reference 이미지 목록 msg.images Array Image 필수 한 turn에 포함된 이미지 정보 메시지 유형 msg.type String Text/image 필수 text 또는 image 수정 시각 msg.last_modified String Text/image 필수 메시지 마지막 수정 시각 원본 필드의 session_seperator 철자는 데이터 호환성을 위해 그대로 사용합니다.
발화 어노테이션
2. 어노테이션 포맷 발화 어노테이션 항목 속성명 타입 필수 여부 내용 및 기준 사용자 의도 msg.annotation.intent String User 필수 CHAT, REQUEST, REFINED REQUEST, EVALUATION, KNOWLEDGE, DETAIL 사용자 감정 msg.annotation.sentiment String User 조건부 neutral, negative, positive 시스템 전략 msg.annotation.strategy String System 필수 CLARIFICATION, SUGGESTION, PRE-SUGGESTION, CHAT, KNOWLEDGE, DETAIL 이미지 정보
2. 어노테이션 포맷 이미지 정보 항목 속성명 타입 필수 여부 설명 파일 식별자 f_name String 필수 확장자를 제외한 이미지 파일명 이미지 URL src String 필수 원본 이미지 reference 검색 속성 query_tags Array[String] 필수 추천 검색에 사용한 패션 속성 전체 속성 tags Array[String] 필수 이미지의 패션 속성 어노테이션 객체 위치 bbox_info Object 조건부 의류 부위별 bounding box 정보 원본 좌표 bbox_xywh Array[Number] Bbox 조건부 pixel 단위 [x, y, width, height] 정규화 좌표 bbox_xywh_norm Array[Number] Bbox 조건부 0–1 범위 [x, y, width, height] 이미지 크기 image_wh Array[Integer] Bbox 조건부 [width, height] State tracking 어노테이션
state_label은 이미지 turn을 포함한 dialog 전체가 아니라 text turn 순서에 맞춰 저장됩니다. Query-state record와 request-state record가 번갈아 나타날 수 있습니다.
2. 어노테이션 포맷 State tracking 어노테이션 항목 속성명 타입 필수 여부 설명 새 속성 added_query_state Array[String] Query record 필수 현재 발화에서 추가된 패션 속성 참조 속성 cr_query_state Array[String] Query record 필수 상호참조로 복원된 패션 속성 참조 대상 cr_target String Query record 필수 상호참조 대상 이전 상태 prev_query_state Array[String] Query record 필수 직전 누적 query state 현재 상태 query_state Array[String] Query record 필수 현재 누적 query state 발화 요약 summary String Query record 필수 상태 변화 관련 요약 요청 속성 request_state Array[String] Request record 필수 System이 user에게 요청한 속성 Cross-reference 어노테이션
2. 어노테이션 포맷 Cross-reference 어노테이션 항목 속성명 타입 필수 여부 설명 엔티티 목록 cr_label.entities Array[Object] 필수 동일 대상 mention을 entity로 묶은 목록 관계 목록 cr_label.relations Array[Object] 필수 Entity 간 관계 Entity ID entities[*].id String 필수 Entity 고유 식별자 Mention 목록 entities[*].mentions Array[Object] 필수 Entity를 지칭하는 text/image mention Mention 유형 target String 필수 T는 text, I는 image Mention ID id String 필수 Mention 고유 식별자와 위치 정보 Text 시작 위치 start Integer Text mention 필수 발화 내 시작 offset Text 종료 위치 end Integer Text mention 필수 발화 내 종료 offset Image 부위 label String Image mention 필수 Bounding box의 의류 부위명 Peer ID peer-id String 필수 연결된 원본 annotation ID 관계 시작점 relations[*].head String 필수 Head entity ID 관계 끝점 relations[*].tail String 필수 Tail entity ID 관계 유형 relations[*].relation String 필수 attr, up_down, part 3. 데이터 포맷
3. 데이터 포맷 구분 포맷 원본 대화·어노테이션 UTF-8 JSON 이미지 JSON 내부 URL reference; 실제 이미지 파일은 JPG 변환된 평가 파일 UTF-8 JSON 선택적 이동용 bundle UTF-8 JSON 원본 data.json의 최상위 값은 dialogue object의 배열입니다.
[
{
"meta": {},
"id": "...",
"state": "done",
"dialog": [],
"creation_time": "...",
"last_modified": "...",
"state_label": [],
"cr_label": {}
}
]
4. 최종 데이터 포맷: 실제 예시
examples/sample_dialog.json은 실제 data.json에서 dialogue ID 6624cba36c42c10adde79c0f를 레코드 전체 단위로 추출한 예시입니다. 생략 기호가 없는 유효한 JSON이며 다음 내용을 모두 포함합니다.14개 text/image turn
intent, sentiment, strategy 어노테이션
text knowledge와 image knowledge reference
13개 state tracking record
3개 entity, text/image mention과 2개 relation
실제 turn의 일부는 다음과 같습니다. 전체 레코드와 중첩 어노테이션은 위 JSON 파일에서 확인합니다.{
"speaker": "user",
"msg_type": "text",
"msg": {
"eid": "utter-utter-19",
"text": "화이트 색상이 좋겠어.",
"annotation": {
"intent": "REFINED REQUEST",
"sentiment": "neutral"
},
"last_modified": "2024-4-21 17:23",
"type": "text"
},
"msg_id": "utter-utter-19"
}
5. 평가 파일 생성
다음 명령은 원본 어노테이션을 9개 benchmark task에 맞게 변환합니다.kommerce-benchmark prepare-data \
--input /path/to/data.json \
--output-dir data/eval_datasets
변환 과정:Sentiment, intent, strategy 어노테이션을 text/multimodal pool로 분리합니다.
State 어노테이션에서 context window 안에 추가된 상태와 option을 구성합니다.
Mention 어노테이션에서 span, coreference cluster, relation triplet을 구성합니다.
Image/text-knowledge reference에서 retrieval 후보를 구성합니다.
Context 4/8/16 조건별 pool에서 최대 250개를 선택하고 schema를 검증합니다.
일부 multimodal pool이 250개보다 작으면 가능한 샘플을 모두 사용합니다. 생성 결과는 38개 평가 JSON, 9,018개 고유 sample이며 54개 평가 설정에서 사용됩니다.평가 파일 이름
Context-independent text pool:{task}_text_balanced_250.json
Context-gated pool:{task}_{modality}_ctx{4|8|16}_balanced_250.json
state_tracking_text와 모든 multimodal variant는 context별 파일을 사용합니다. 나머지 text variant는 한 파일을 context 4/8/16에서 runtime slicing합니다.평가 파일 공통 필드
5. 평가 파일 생성 평가 파일 공통 필드 속성명 타입 설명 sample_id String 평가 sample 고유 ID task String 예: sentiment_multimodal modality String text 또는 multimodal history Array[String] 모델에게 제공되는 대화 turn gt Task-dependent 평가 정답 image_turns Array[Object] turn_idx, url 이미지 reference 태스크별 추가 필드:
Classification: current_text, multimodal이면 dialog_context
State tracking: options, dialog_context, object 형태의 gt
Span detection: raw_options; image variant는 image_turns
Coreference: mention_pool, cluster list 형태의 gt
Relation: mention_pool, pair_options, triplet list 형태의 gt
Image retrieval: image-reference options, 1-based integer gt
Text-knowledge retrieval: article options, 1-based integer gt
6. 선택 사항: 단일 평가 bundle
생성된 38개 평가 파일을 한 파일로 옮길 때만 bundle을 만듭니다.kommerce-benchmark bundle-data \
--data-dir data/eval_datasets \
--output kommerce_eval_bundle.json
일반적인 benchmark 실행에는 bundle이 필요하지 않습니다.KoMMERCE 데이터 구조 명세 · HTML 단일 파일 문서
-
데이터셋 구축 담당자
수행기관(주관) : 한국전자기술연구원
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 신사임 031-739-7456 sishin@keti.re.kr 수행기관(참여)
수행기관(참여) 기관명 담당업무 셀렉트스타 데이터 수집 수행 및 annotator 관리 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 조병길 031-739-7615 byunggill@keti.re.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의