-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-15 데이터 최종 개방 1.0 2023-05-30 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-15 산출물 전체 공개 2023-05-31 세부데이터, 구축업체정보 수정 소개
지식정보(텍스트)-시각정보(이미지)-질의응답(텍스트)로 이루어진 다중쌍데이터셋 관광지 및 관광 상품, 무인 스토어 등 다양한 분야에서 탐지, 식별 솔루션에 활용 가능, 잠재가치가 매우 높은 데이터로 인식
구축목적
한-영어, 한-중(번체, 간체), 한-일본어 번역 연구 등, 기계번역 연구 외국인을 위한 맞춤형 여행지 추천 등 다국어 관광 정보 제공
-
메타데이터 구조표 데이터 영역 문화관광 데이터 유형 텍스트 , 이미지 데이터 형식 csv 데이터 출처 POI : 네이버 클라우드㈜ 제공 및 자체수집 라벨링 유형 번역(자연어) 라벨링 형식 Json 데이터 활용 서비스 관광정보 외국어 서비스 제공 데이터 구축년도/
데이터 구축량2022년/POI : 390,000건, 한-영 : 390,000건, 한-중(간체) : 390,000건, 한-중(번체) : 390,000건, 한-일 : 390,000건 -
데이터 통계
□ 데이터 구축 규모데이터 종류 데이터 형태 원천 데이터 규모 어노테이션 규모 한-영 텍스트 390,000건 390,000건 한-중(번체) 텍스트 390,000건 390,000건 한-중(간체) 텍스트 390,000건 390,000건 일본어 텍스트 390,000건 390,000건
2-083-221. 관광지 소개 다국어 번역 데이터 관광 타입 영어 중국어 중국어 일본어 타입 비율 간체 번체 관광지 14.50% 56,550 56,550 56,550 56,550 문화 1% 3,900 3,900 3,900 3,900 시설 음식점 40% 156,000 156,000 156,000 156,000 레포츠 4.80% 18,720 18,720 18,720 18,720 숙박 7.80% 30,420 30,420 30,420 30,420 쇼핑 3.10% 12,090 12,090 12,090 12,090 편의 28.80% 112,320 112,320 112,320 112,320 오락 합계 390,000 390,000 390,000 390,000 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드■ 활용 모델
□ 모델 학습
- 번역 데이터를 활용한 BLEU Score을 추출하기 위한 Transformer기반의 mT5 학습 알고리즘 사용학습(Train) 검증(Validation) 시험(Test) 개요 - Transformer 기반의 mT5모델에 텍스트 기반 학습 - Transformer 기반의 mT5모델에 텍스트 기반 학습 - Transformer 기반의 mT5모델에 텍스트 기반 학습 - 대규모 학습용 KVQA 사용 - 대규모 학습용 KVQA 사용 - 대규모 학습용 KVQA 사용 비율 80% 10% 10% 학습 알고리즘 구조
서비스 활용 시나리오
- 관광 분야 활용
관광객 유입 활성화
인공지능 학습용 데이터는 이후 관광지 정보 제공 시에 정확하고 자연스러운 외국어 정보 제공에 활용
또한, 인공지능이 새로운 관광지 설명에 기존 데이터를 응용함으로써 학습용 데이터에서 연관되는 새로운 정보, 다양한 상황에 맞는 적절한 일본어 번역을 제공
연세대학교, 전북대학교의 영어, 중국어(간체/번체), 일본어 전문가들의 전문성을 활용한 조직적인 관리 감독하에 관광지(POI)의 외국어 번역정보의 내용적, 언어적 수준 향상
실제로 사용 가능한 외국어 관광지 정보 실현
정보에 대한 이해도 향상을 통해 한국 문화에 대한 이해도 향상 도모
관광지(POI) 정보의 인공번역을 위한 평행 번역데이터 기반 업그레이드
관광지(POI)에 대한 외국어 정보 제공에 있어 번역의 수월성을 획득하기 위한 출발어(한국어) 정보 데이터의 표본 제공함
관광지(POI) 번역데이터에 한정하여 우수한 번역데이터를 구축하고, 향후 기계번역에 필요한 양질의 평행 번역데이터(parallel translation data) 구축함
- 외국어 교육 분야 활용
이러한 학습 데이터의 구축은 향후 인공지능을 이용한 회화 수업, 번역 수업 등의 외국어 교육에서도 적극적으로 활용에 기여
인공지능 번역 수업의 경우는 포스트에디팅 능력의 향상과 함께 한국어와 일본어에 대한 이해, 인공지능의 자연어 처리에 대한 이해 등으로 이어질 수 있어 이 분야의 전문가 양성에도 도움될 것으로 기대 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 (한국어-영어) Transformer Machine Translation Transformer BLEU 0.4 점 0.574 점 2 (한국어-중국어-간체) Transformer Machine Translation Transformer BLEU 0.4 점 0.5702 점 3 (한국어-중국어-번체) Transformer Machine Translation Transformer BLEU 0.4 점 0.5661 점 4 (한국어-일본어) Transformer Machine Translation Transformer BLEU 0.4 점 0.5766 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드■ 데이터 포맷
□ 원천데이터 포맷유형 예시 데이터 항목 데이터형식 원천 
POI 데이터 .csv 데이터 라벨링 이터 
한-영 json 
한-일 json 
한-중 json (번체) 
한-중 json (간체) 구분 속성명 타입 필수 설명 범위 비고 여부 1 data object Y 1-1 dataset number Y 데이터 번호 2-083-221 1-2 POI_id string Y POI 번호 0~1,000,000 1-3 travelType string Y 관광타입 2 annotations array Y 1~ 2-1 object 2-1-1 k_column string Y 국문 컬럼명 2-1-2 k_context string Y 국문 내용(원본) 2-1-3 k_context_wordNum number Y 국문 내용(원본) 어절 수 0~200 2-1-4 language string Y 번역 언어 2-1-5 T_column string Y 다국어 컬럼명(번역) 2-1-6 T_context string Y 다국어 내용(번역) 2-1-7 T_wordNum number Y 번역 어절 수 0~200 2-1-8 lengthType number Y 길이 분류 1~5 10> : 1 15> : 2 20> : 3 25> : 4 25<= : 5 ■ 실제 예시
□ 한-영 데이터
□ 한-일본어 데이터
□ 한-중국어(번체) 데이터
□ 한-중국어(간체) 데이터
-
데이터셋 구축 담당자
수행기관(주관) : ㈜엠티데이타
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 손현진 070-4294-8814 hjson@mtdata.co.kr 과제 실무책임, 데이터 수집·정제·가공·검증 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜올림커뮤니케이션즈 데이터 정제, 플랫폼 제공 연세대학교 산학협력단 데이터 가공 및 검수(한-영어, 한-중(간체·번체)) 전북대학교 산학협력단 데이터 가공 및 검수(일본어) 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 손현진 070-4294-8814 hjson@mtdata.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.