※다수의 이용자가 함께 다운로드 받아 활용하는 데이터들을 묶어 편하게 다운로드 받을 수 있도록 제공하는 맞춤형 서비스입니다.
-
o 소개
- 한국어를 중심으로 중국어, 영어, 일본어 등 다국어를 아우르는 대규모 번역 말뭉치 모음
- 사회과학, 인문학, 기술과학 등 다양한 분야 전문용어와 방송 콘텐츠 언어를 포함한 한국어-다국어 말뭉치 구성
o 구축목적
- 한국어 기반 자연어 처리 및 기계 번역 기술에 활용 가능
- 언어 연구, 번역 서비스, 교육 콘텐츠 제작 등에 활용o 활용 데이터 : 총 7개 데이터셋
1) (구축연도 : 2020) 한국어-중국어 번역 말뭉치(사회과학): 사회과학(예: 정치, 경제, 금융, 행정, 교육, 법률 등) 등 한-중 번역 말뭉치 130만 건
2) (구축연도 : 2020) 한국어-영어 번역 말뭉치(기술과학)
: 기술 과학 분야 (ICT, 전기/전자/기계, 의학) 한-영 말뭉치 150만 문장 150만 건
3) (구축연도 : 2020) 한국어-중국어 번역 말뭉치(기술과학)
: 기술과학(예: 인공지능, 빅데이터, IT, SNS, 의학, 특허 등) 등 한-중 번역 말뭉치 130만 건
4) (구축연도 : 2020) 한국어-영어 번역 말뭉치(사회과학)
: 사회 과학 분야(법률, 교육, 경제, 문화/관광/예술)의 한-영 말뭉치 150만 문장 150만 건
5) (구축연도 : 2020) 한국어-일본어 번역 말뭉치
: 문화 분야에서 한-일본어 번역 정확도가 상대적으로 낮은 세부 분야 데이터 번역 말뭉치 150만 건
6) (구축연도 : 2022) 한국어-다국어 번역 말뭉치 (인문학)
: 인문학 30만 문장 이상의 원시데이터에 대한 인공지능 학습용 데이터 저작권 확보 후 중분류 5개 분야, 소분류 10개 분야로 분류하여 원시데이터를 수집하고 정제, 가공(특수라벨링/번역), 검수 작업을 실시하여 공공/산업전반에 빅데이터로 활용할 수 있는 인문학 분야 다국어(영어, 중국어, 일본어) 번역 말뭉치 데이터 약 30만 건
7) (구축연도 : 2021) 방송 콘텐츠 한-중, 한-일 번역 병렬 말뭉치 데이터
: 신경망 기반 기계 번역기 학습 데이터로 활용 및 번역기 성능 향상을 위한 한중, 한일 말뭉치 학습용 데이터 300만 문장 240만 건
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.

국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.