-
소개
한국어 대화 시스템에서 활용도가 가장 높은 해요체, 합쇼체, 반말체를 대상으로 한국어 문장을 제작, 수집 체계를 마련하고 관련 정보를 레이블링 한국어 문법에 대한 지식을 보유하고 있는 대학원생이 문장을 분석하고 어체 문장을 작성하는 방식으로 수집 의료 도메인 대화 1,940 문장, 일상, 오피스 대화 672 문장을 수집 역-변환 (Back-transfer) 방법으로 어체 변환을 실험을 수행하는 방식으로 데이터 정확성 검증
구축목적
국내 인공지능 기술의 활성화를 위해서는 무엇보다 자연어처리와 관련된 다양한 종류의 고품질 텍스트 데이터 확보가 중요 국내 자연어처리 연구 중 최초로 어체 변환을 목적으로 공개하는 데이터 한국어 어체 변환 연구는 다양한 대화 시스템이 상황별 적합한 응답 발화를 생성하는데 중요한 요소 중 하나로 연구 활성화가 필요함
-
구축량
- 2,000 문장
-
구축량
- 2,000 문장
대표 도면
필요성
- 국내 인공지능 기술의 활성화를 위해서는 무엇보다 자연어처리와 관련된 다양한 종류의 고품질 텍스트 데이터 확보가 중요
- 국내 자연어처리 연구 중 최초로 어체 변환을 목적으로 공개하는 데이터
- 한국어 어체 변환 연구는 다양한 대화 시스템이 상황별 적합한 응답 발화를 생성하는데 중요한 요소 중 하나로 연구 활성화가 필요함
구축 내용
- 한국어 대화 시스템에서 활용도가 가장 높은 해요체, 합쇼체, 반말체를 대상으로 한국어 문장을 제작, 수집 체계를 마련하고 관련 정보를 레이블링
- 한국어 문법에 대한 지식을 보유하고 있는 대학원생이 문장을 분석하고 어체 문장을 작성하는 방식으로 수집
- 의료 도메인 대화 1,940 문장, 일상, 오피스 대화 672 문장을 수집
- 역-변환 (Back-transfer) 방법으로 어체 변환을 실험을 수행하는 방식으로 데이터 정확성 검증
데이터 구조
- 어체 별로 하나의 텍스트 파일 형태로 존재하고 Line-by-line 방식으로 병렬 코퍼스를 구성함
- 의료 도메인 대화 (해요체-합쇼체)
- medical_dialog_yo.txt (해요체)
1. 임신 중에 비행기를 타는 것은 괜찮아요.
2. 서두르지 마시고 병원에 가시면 된답니다.
...(이하 생략)
- medical_dialog_sho.txt (합쇼체)
1. 임신 중에 비행기를 타는 것은 괜찮습니다.
2. 서두르지 마시고 병원에 가시면 된답니다.
...(이하 생략) - 일상, 오피스 대화 (해요체-합쇼체-반말체)
- office_daily_dialog_yo.txt (해요체)
1. 밤사이 잠은 잘 주무셨어요?
2. 좋은 아침이에요!
3. 식사 잘 하셨어요?
...(이하 생략)
- office_daily_dialog_sho.txt (합쇼체)
1. 밤사이 잠은 잘 주무셨습니까?
2. 좋은 아침입니다!
3. 식사 잘 하셨습니까?
...(이하 생략)
- office_daily_dialog_ban.txt (반말체)
1. 밤사이 잠은 잘 잤어?
2. 좋은 아침이야!
3. 식사 잘 했어?
...(이하 생략)
다운로드 폴더 구성정보
-
데이터셋 구축 담당자
수행기관(주관) : 서강대학교 자연어처리 연구실
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 서정연 02-706-8954 seojy@sogang.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.