※다수의 이용자가 함께 다운로드 받아 활용하는 데이터들을 묶어 편하게 다운로드 받을 수 있도록 제공하는 맞춤형 서비스입니다.
-
o 소개
- 한국어-영어 병럴 말뭉치 데이터로 구성된 데이터 패키지로 다양한 분야(인문학, 사회과학, 기초과학, 특허, 식품 등)를 아우르는 말뭉치 모음
o 구축목적
- 전문 분야를 아우르는 한국어-영어 번역 서비스의 품질 고도화 지원
- 한-영 번역 정확도가 상대적으로 낮은 분야의 데이터 구축을 통해 AI 기반 번역 기술 개발에 활용 가능하며 다양한 분야에서의 원활한 정보 소통 도모o 활용 데이터 : 총 12개 데이터셋
1) (구축연도 : 2022) 한국어-다국어 번역 말뭉치 (인문학)
: 인문학 30만 문장 이상의 원시데이터에 대한 인공지능 학습용 데이터 저작권 확보 후 중분류 5개 분야, 소분류 10개 분야로 분류하여 원시데이터를 수집하고 정제, 가공(특수라벨링/번역), 검수 작업을 실시하여 공공/산업전반에 빅데이터로 활용할 수 있는 인문학 분야 다국어(영어, 중국어, 일본어) 번역 말뭉치 데이터 약 30만 건2) (구축연도 : 2020) 한국어-영어 번역 말뭉치(기술과학)
: 기술 과학 분야 (ICT, 전기/전자/기계, 의학) 한-영 말뭉치 150만 문장 150만 건3) (구축연도 : 2022) 방송콘텐츠 한국어-영어 번역 말뭉치
: 방송 콘텐츠 분야의 영어, 스페인어, 러시아어 통·번역 성능 향상을 통해 한국 문화 확산 및 콘텐츠 산업 활성화를 위한 한국어 방송 콘텐츠의 인공지능 학습용 통·번역 데이터(통번역 음성 및 텍스트 페어) 195만 건4) (구축연도 : 2022) 한국어-다국어 번역 말뭉치(기초과학)
: 기초과학 30만 문장 이상의 원시데이터에 대한 인공지능 학습용 데이터 저작권 확보 후 중분류 5개 분야, 소분류 10개 분야로 분류하여 원시데이터를 수집하고 정제, 가공(특수라벨링/번역), 검수 작업을 실시하여 공공/산업전반에 빅데이터로 활용할 수 있는 기초과학 분야 다국어(영어, 중국어, 일본어) 번역 말뭉치 데이터 30만 건5) (구축연도 : 2020) 전문분야 한영 말뭉치
: AI기반 자동 번역 기술 개발을 위해 고품질의 한-영 병렬 말뭉치 150만 이상의 문장을 학습용 번역 데이터로 구축6) (구축연도 : 2020) 한국어-영어 번역 말뭉치(사회과학)
: 사회 과학 분야(법률, 교육, 경제, 문화/관광/예술)의 한-영 말뭉치 150만 문장 150만 건7) (구축연도 : 2019) 한국어-영어 번역(병렬) 말뭉치
: AI 번역 엔진 개발을 위한 뉴스(80만 장), 정부/지자체 홈페이지, 간행물(10만 문장), 행정 규칙, 자치법규(10만 문장), 한국 문화(10만 문장), 구어체(40만 문장), 대화체(10만 문장)의 학습용 문장을 구축한 자연어 데이터 총 160만 건 제공8) (구축연도 : 2021) 기술과학 분야 한-영 번역 병렬 말뭉치 데이터
: 신경망 기반 기계 번역기, 기술과학 번역기 성능 향상을 위한 한영, 영한 말뭉치 학습 데이터 150만 건9) (구축연도 : 2021) 전문분야 영-한·중-한 번역 말뭉치 (식품)
: 신경망 기반 기계 번역기, 식품 분야 번역기 성능 향상을 위한 영한, 중한 말뭉치 학습 데이터 300만 건10) (구축연도 : 2021) 산업정보 연계 주요국 특허 영-한 데이터
: 해외 주요국 (미국, 유럽, 일본, 중국) 특허명세서의 주요 내용을 번역하여, 해당되는 산업분야, 관련 기술용어 등으로 구성된 총 200만 문장 이상, 특허 40만 건의 데이터 셋 (특허 자동 산업분류 인공지능기술 개발을 위한 학습용 데이터)11) (구축연도 : 2022) 기계번역 품질 검증 데이터
: 한국어-영어 양방향에 대하여 기계번역 사후교정 및 어절, 문장, 문서 수준에서 기계번역 품질주석 데이터 62만 건12) (구축연도 : 2022) AI 허브 데이터 활용을 위한 기계 번역앱 구축과 번역기 평가 및 신규 말뭉치 구축
: AI 허브의 공개 말물치 데이터를 활용하여 번역 메모리(TM) 구축 및 기계 번역기 성능 향상을 위한 말뭉치 구성(약 290만 건)
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.

국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.