※ 내국인만 데이터 신청이 가능합니다.
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2025-12-31 데이터 개방 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2025-12-31 산출물 공개 콘텐츠 최초 등록 소개
한국어 장문 이해능력 (Long-Context) 평가를 위한 벤치마크 테스트셋
구축목적
LLM(Large Language Model)의 입력 허용 범위(Context-Length)가 확장됨에 따라 모델의 장문 이해 능력을 평가 할 수 있는 벤치의 중요성이 대두되었으며, 한국어로 구성된 장문 이해 능력 평가 벤치는 기존에 없었음.
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 jsonl 데이터 출처 주식회사 엘지경영개발원 라벨링 유형 문맥, 질의, 응답, 옵션, 문맥 길이 구간 (자연어) 라벨링 형식 jsonl 데이터 활용 서비스 - AI Hub 페이지에 공개하여 누구나 쉽게 데이터를 활용할 수 있는 환경을 마련 - 공개된 데이터를 활용하여 LLM의 한국어 장문 이해 능력 평가 가능 데이터 구축년도/
데이터 구축량2025년/원천 데이터: 2,766건, 라벨링 데이터: 2,766건 -
1) 데이터 구축 규모
- 원천 데이터: 2,766건,
- 라벨링 데이터: 2,766건
2) 데이터 분포2) 데이터 분포 대분류 개수(개) 비율(%) 단일 문서 질의응답 600 21.69 다중 문서 질의응답 600 21.69 장문 문맥 내 학습 300 10.85 장문 구조화 데이터 질의응답 300 10.84 장문 이야기 이해 216 7.81 검색 기반 질의응답 300 10.84 장문 대화 이력 이해 450 16.27 -
평가 모델
● 모델 선정에 있어 한국어가 주요 언어로 지원하고 128K 까지 입력을 허용하는 모델 기준으로 다양한 파라미터 사이즈를 부차적으로 고려하여 평가를 진행함평가 모델 모델명 크기 A.X-4.0 74.21 A.X-3.1 65.26 EXAONE-4.0.1-32B 85.44 HyperCLOVAX-SEED-Think-14B 69.47 kanana-1.5-8b-instruct-2505 60.88 평가 지표 및 환경
평가 지표 및 환경 평가 지표 및 환경 평가 지표 정확도 추론 프레임워크 vllm 평가 프롬프트 다음 문제에 대해 정답을 고르세요. 당신의 최종 정답은 ABCD 중 하나이고, 정답: 뒤에 와야 합니다.정답을 고르기 전에 차근차근 생각하고 추론하세요.
{다중 문맥}
질문 : {질문}
{옵션}
정답:문맥 구간 별 성능 평가 결과
● 모델 선정에 있어 한국어가 주요 언어로 지원하고 128K 까지 입력을 허용하는 모델 기준으로 다양한 파라미터 사이즈를 부차적으로 고려하여 평가를 진행함문맥 구간 별 성능 평가 결과 모델명 4K-8K -16K -32K -64K -128K 통합 A.X-4.0 74.21 65.96 54.21 46.11 32.96 55.21 A.X-3.1 65.26 56.32 48.07 30.56 8.89 42.66 EXAONE-4.0.1-32B 85.44 83.51 78.95 77.04 75.93 80.22 HyperCLOVAX-SEED-Think-14B 69.47 71.58 68.95 71.11 64.63 69.63 kanana-1.5-8b-instruct-2505 60.88 63.68 56.14 47.96 38.89 54.05 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 설명 및 구성
● Multi-task 로 구성된 벤치마크 데이터셋으로 모델의 한국어 다양한 장문 이해 실사용성 평가 가능
· 문서 기반 질의 응답, 장문 이야기 이해 등 다양한 유형의 7가지 종류의 Task를 평가 할 수 있음● 최대 128K 토큰 까지의 긴 문맥 기반 Task로 구성됨.
· 세부 구간은 5가지 구간으로 나뉘며 [4K-8K, 8K-16K, 16K-32K, 32K-64K, 64K-128K]로 나뉘어 짐.데이터 설명 및 구성 대분류 소분류 단일 문서 질의응답
(SingledocQA)의료(Medical) 금융(Financial) 법률(Legal) 특허(Patent) 다중 문서 질의응답
(MultidocQA)의료(Medical) 금융(Financial) 법률(Legal) 특허(Patent) 장문 문맥 내 학습
(Long In-context Learning)매뉴얼 질의응답
(ManualQA)다시 예시 기반 질의응답
(Many-shotQA)장문 구조화 데이터 질의응답
(Long Structured Format QA)표정보 질의응답1
(TableQA1)표정보 질의응답2
(TableQA2)장문 이야기 이해
(Long Story Understanding)이야기 순서 맞추기
(Story Ordering)이야기 혼합 이해
(Story Mixing)검색 기반 질의응답
(Retrieval-Augmented Generation)단일 문서 기반
(Singledoc)다중 문서 기반
(Multidoc)장문 대화
이력 이해
(Long Dialogue History Understanding)주제 분류
(Topic_Classification)잘못된 대화 분류
(Wrong_Dialouge)오류 분류
(Wrong_Chatbot)데이터 어노테이션 포맷 및 형식
데이터 어노테이션 포맷 및 형식 No 속성명 타입 필수
여부속성
설명예시 1 id str Y 데이터 ID SingledocQA_medical_bin1_0 2 question str Y 질문 식도 정맥류의 주요 원인은 무엇인가요? 3 context str Y 지문 문서 1:[요추관 협착증] 정의: 요추관 협착증은 척추관의 좁아진 정도에 따라 다양한 증상을...(중략) 4 options List(str) Y 옵션 [“비만”,“간경변증”,“당뇨병”,“고혈압”] 5 answer_letter str Y 정답 B -
데이터셋 구축 담당자
수행기관(주관) : 주식회사 엘지경영개발원
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김용일 yong-il.kim@lgresearch.ai 총괄책임자 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김용일 yong-il.kim@lgresearch.ai
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의