콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#말뭉치 # 크라우드소싱 # 생태계 # 번역 # 기계번역

전문분야 한영 말뭉치

전문분야 한영 말뭉치
  • 분야한국어
  • 유형 텍스트
구축년도 : 2020 갱신년월 : 2021-06 조회수 : 7,185 다운로드 : 1,014 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2021-06-18 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-09-25 저작도구 및 AI모델 소스코드 등록

    소개

    AI기반 자동 번역 기술 개발을 위해 고품질의 한-영 병렬 말뭉치 150만 이상의 문장을 학습용 번역 데이터로 구축하여 특화된 맞춤 번역기 서비스 제공

    구축목적

    양질의 대규모 AI 학습용 번역 데이터를 구축/공개하여 중소벤처, 스타트업 등 민간의 AI기반 자동번역 기술개발 촉진과 이를 적용한 활용 서비스 출시로 AI 번역 산업의 자생적 선순환 생태계 도모
  • 구축 내용 및 제공 데이터량

    • 데이터 구축 분야 8개
      - 의료/보건, 금융/증시, 가정 통신문, 국제 스포츠 행사, IT기술, 축제/행사, 대법원 판례, 향토문화/음식
    • 한글 원문 어절 수: 평균 15어절
    • 수량: 병렬 말뭉치 150만개
    • 분야별 세부 구축 수량 (단위-만)
      - 의료-25 / 금융-20 / 가정 통신문-10 / 스포츠-20 / IT-20 / 축제-20 / 판례-15 / 향토문화-20
    • 데이터 구축 예시

    전문분야 한영 말뭉치 데이터 구축 예시

     

  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 기계 번역 vs 사람 번역 유사도 Machine Translation Google/AWS Cloud Service AI Model BLEU 0.3 0.5166

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2021.06.18 데이터 최초 개방  

    구축목적

    • 양질의 대규모 AI 학습용 번역 데이터를 구축/공개하여 중소벤처, 스타트업 등 민간의 AI기반 자동번역 기술개발 촉진과 이를 적용한 활용 서비스 출시로 AI 번역 산업의 자생적 선순환 생태계 도모

    활용분야

    • 다국어 가정 통신문 특화 번역 서비스, 판례 특화 전문 번역기 등

    소개

    • AI 번역 (신경망 번역 NMT) 성능 향상을 위한 고품질의 한-영 병렬 말뭉치 150만 문장 이상을 구축 이를 전문 분야에 특화된 맞춤 번역기 형태로 활용 서비스를 제공/구현함

    전문분야

     

     

    구축 내용 및 제공 데이터량

    • 데이터 구축 분야 8개
      - 의료/보건, 금융/증시, 가정 통신문, 국제 스포츠 행사, IT기술, 축제/행사, 대법원 판례, 향토문화/음식
    • 한글 원문 어절 수: 평균 15어절
    • 수량: 병렬 말뭉치 150만개
    • 분야별 세부 구축 수량 (단위-만)
      - 의료-25 / 금융-20 / 가정 통신문-10 / 스포츠-20 / IT-20 / 축제-20 / 판례-15 / 향토문화-20
    • 데이터 구축 예시

    전문분야 한영 말뭉치 데이터 구축 예시

     

    필요성

    • 현재 대한민국은 AI 기술 연구 개발 및 활용의 시작 단계
    • AI 데이터 축적/활용 미흡 (선진국[미국] 대비 약 2년의 기술력 차)
    • AI 기술 개발을 위해 대규모 AI 학습용 데이터 확보 필수
    • 중소·벤처 기업 수요는 있으나 구축 역량 부족
    • AI 학습 데이터 자체 구축 시간/예산 부족 및 원천 데이터 확보의 어려움으로 정부 차원의 투자/지원 필요
  • 데이터셋 구축 담당자

    수행기관(주관) : 플리토
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    이정수 02-512-0162 help@flitto.com · 사업 관리 총괄 / 위탁용역 계약 및 업무 관리 · 크라우드소싱 한영 번역 및 감수 / 활용 서비스 개발 및 방안 도출
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    솔트룩스파트너스 · 축제_행사 및 IT 관련 한-영 MTPE 번역 및 감수 / 과제 품질 관리
    에버트란 · ‘법원 종합법률정보 판례 및 의료 관련 한-영 MTPE 번역 및 감수
    · 과제 저작 도구 관리_개발 및 개선성
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    이정수(플리토) 02-512-0162 help@flitto.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.