AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 한국어-영어 양방향에 대하여 기계번역 사후교정 및 어절, 문장, 문서 수준에서 기계번역 품질주석 데이터 구축

구축목적

- 자연어 이해 및 자연어 생성에 대한 연구 및 개발한 언어모델 평가 등에 활용
- 다양한 산업에서 민원·응대 등에 활용되는 챗봇, AI 비서와 같은 언어모델 평가 등에 활용

데이터 구축 규모

 ○ 데이터셋별 분포

○ 주제별 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

모델 학습

○ 기계번역 사후 교정 모델기계번역된 문장을 사람과 비슷한 번역으로 교정해주는 모델
  예시)
  입력: 조의 국내 첫 공연인 쇼팽 피아노 협주곡 1번과 2번을 연주할 예정이다.
  출력: 조성진은 국내 첫 공연에서 쇼팽 피아노 협주곡 1번과 2번을 연주할 예정이다.

○ 문서 수준의 기계번역 품질예측 모델한->영 그리고 영->한 방향에서 원문장과 기계번역된 문서의 특정문장이 주어졌을 때 MQM 점수를 예측하는 모델.예시)입력: Many choose to meet their friends for a beer at the outside seating area at night to enjoy the chill atmosphere.,많은 사람들은 밤에 야외 좌석 공간에서   시원한 분위기를 즐기기 위해 친구들을 만나 맥주를 마시곤 합니다.출력: 0.8074413520467247
○ 문장 수준의 기계번역 품질예측 모델한->영 그리고 영->한 방향에서 원문장과 기계번역된 문장이 주어졌을 때 SQM 점수를 예측하는 모델.예시)입력: 이따가 피시방에서 아이스크림 물고 롤?,Eat ice cream and rolls at the PC room later?출력: -0.827451103646026
○ 어절 수준의 기계번역 품질예측 모델한->영 그리고 영->한 방향에서 원문장과 기계번역된 문장이 주어졌을 때 기계번역된 문장의 어절 수준으로 좋은 번역인지 안좋은 번역인지 분류해주는 모델.예시)입력: 원문장 - 욕실까지 외부가 아닌 텐트 안에 있어 편의성을 높였다.기계번역문장 - "Even the bathroom is inside the tent, not outside, so the convenience is increased."출력: Good Good Good Good Good Good Good Good Good Good Good Bad Bad Bad
 

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 포맷   대표도면 및 JSON 형식

{  "documentId": "100017-1196",
  "fileName": "en-ko_SH_en_ko_100017-1196-1-1_1",
  "dataSet": "기계번역 품질 예측 데이터",
  "domain": "SH",
  "sourceLanguage": "en",
  "targetLanguage": "ko",
  "segments": {
    "segmentId": "100017-1196-1-1",
    "index": 1,
    "mtSource": "GOOGLE",
    "sourceText": "Technically, we don’t know for sure if he’s virus-free.",
    "mtText": "기술적으로 우리는 그가 바이러스에 감염되지 않았는지 확실하지 않습니다.",
    "score": 40.0,
    "document": [
      {
        "severity": "CRITICAL",
        "startPoint": 19,
        "endPoint": 28,
        "errorSpan": "19-28"
      },
      {
        "severity": "CRITICAL",
        "startPoint": 29,
        "endPoint": 39,
        "errorSpan": "29-39"
      }
    ],
    "words": [
      {
        "wordIndex": 1,
        "startPoint": 0,
        "endPoint": 5,
        "text": "기술적으로",
        "state": "Good"
      },
      {
        "wordIndex": 2,
        "startPoint": 6,
        "endPoint": 9,
        "text": "우리는",
        "state": "Good"
      },
      {
        "wordIndex": 3,
        "startPoint": 10,
        "endPoint": 12,
        "text": "그가",
        "state": "Good"
      },
      {
        "wordIndex": 4,
        "startPoint": 13,
        "endPoint": 18,
        "text": "바이러스에",
        "state": "Good"
      },
      {
        "wordIndex": 5,
        "startPoint": 19,
        "endPoint": 23,
        "text": "감염되지",
        "state": "Bad"
      },
      {
        "wordIndex": 6,
        "startPoint": 24,
        "endPoint": 28,
        "text": "않았는지",
        "state": "Bad"
      },
      {
        "wordIndex": 7,
        "startPoint": 29,
        "endPoint": 33,
        "text": "확실하지",
        "state": "Bad"
      },
      {
        "wordIndex": 8,
        "startPoint": 34,
        "endPoint": 39,
        "text": "않습니다.",
        "state": "Bad"
      }
    ]
  }
}

데이터 구성

어노테이션 포맷

○ MTPE

○ QE

실제 예시

{  "id": "100008-1-1-1",
  "fileName": "TX_CA_1_100008-1-1-1",
  "dataSet": "한국어 철자 및 맞춤법 교정용 병렬 데이터",
  "domain": "CA",
  "ko": "지금까지 다녀 본 여행지 중 좋았던 곳 추천해줘.",
  "corrected": "지금까지 다녀 본 여행지 중 좋았던 곳 추천해 줘.",
  "error": [
    {
      "errorType": "spac",
      "startPoint": 22,
      "endPoint": 27
    }
  ]
}

{  "id": "100008-1-1-1",
  "fileName": "TX_CA_1_100008-1-1-1",
  "dataSet": "한국어 철자 및 맞춤법 교정용 병렬 데이터",
  "domain": "CA",
  "ko": "지금까지 다녀 본 여행지 중 좋았던 곳 추천해줘.",
  "corrected": "지금까지 다녀 본 여행지 중 좋았던 곳 추천해 줘.",
  "error": [
    {
      "errorType": "spac",
      "startPoint": 22,
      "endPoint": 27
    }
  ]
}

데이터셋 구축 담당자

수행기관(주관) : 한국외국어대학교

수행기관(참여)

데이터 관련 문의처