AI-Hub

데이터 변경이력

데이터 히스토리

소개

■ 국어를 사용하는 사람들이 매일매일의 생활에서 듣고 보고 사용하는 기초적이고 핵심적인 문장으로 구성된 데이터로 이를 통해 AI 모델이 사람의 생활에서 납득 가능한 논리적 추정을 할 수 있을 것으로 기대함

■ 데이터 구축 목적에 부합하는가는 AI 모델이 일상생활에서 두루 쓰이는 용어 및 문장을 이해하고 이로부터 기대되는 감정과 상황 변화에 대한 보편적 지식을 산출해 내는지가 중요한 요인으로 작용함

구축목적

■ 일반상식 추론에 적합한 문장은 일상 생활의 평범한 상황에 대해 납득가능한 논리적 추정을 할 수 있는 문장을 의미한다( B. Y. Lin 외, 2020 참조). 따라서 일상 생활을 기반으로 한 문장을 수집 정제한 후 50만 문장의 개념 집합을 추출하는 것을 일반상식 문장 교정 데이터의 구축 목적으로 함

1) 전체 문장수 : 508,120

2) 데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1) 학습 모델 후보

● 본 임무와 직접적으로 관련된 두 개의 선행 연구 Lin et al. (2019)와 Seo et al. (2021)을 중점적으로 비교 분석함

● KoGPT2, KoBART, mBART-50은 Seo et al. (2021)에서 성능이 보고된 반면, KE-T5와 Ko-GPT-Trinity의 성능은 보고되지 않음. 이에 동일한 설정 하에 과제 준비 기간 동안 두 모델에 대해 예비 실험을 진행하였음
● 즉 Seo et al. (2021)에서 제안된 KommonGen 데이터를 해당 깃허브(https://github.com/ nlpai-lab/ KommonGen)에서 내려받고 해당 학습 데이터와 테스트 데이터를 이용해 실험을 진행함
● 이를 통해 보다 종합적으로 모델의 성능을 검증하고, 최종적으로 구현할 모델을 결정하고자 함
● 실험 결과

● 실험 결과 분석
▸KE-T5은 KoGPT보다 근소하게 우세함
▸Ko-GPT-Trinity은 다섯 개의 모델들 중 가장 성능이 낮음
▸ROUGE-2/L, Coverage 모두 mBART-50가 가장 높은 성능을 보임
▸따라서 학습모델 후보군 중 가장 높은 성능을 보인 mBART-50을 최종 과제 수행시 구현하기로 결정함

2) 학습 모델 개발
(개발 목표)
   - 입력된 개념 정보를 활용하여 자연스러운 상식 문장을 생성하는 모델을 구축
     예: (입력) 고양이 선반 올라가다 => (생성) 고양이가 선반에 올라가 있다

(개발 내용)
    - mBART
● 학습 모델은 페이스북에서 개발한 mBART(엠바트) 모델을 사용했습니다. 
● 해당 모델은 한국어를 포함한 50여가지의 언어로 사전학습한 모델이며, 모델 사이즈가 다른 공개된 모델과 비교하여 더 커서, 한국어에서도 일반적으로 좋은 성능을 보여주고 있습니다.
● 해당 모델은 전형적인 sequence-to-sequence 모델로, 일정 조건(개념집합)을 인코더에서 입력 받아서 디코더에서 문장을 생성하는 구조입니다.

데이터 성능 점수

설명서 및 활용가이드 다운로드

1) 데이터 포맷 : JSON

2) 어노테이션 포맷

3) 실제 예시

{
        "sentence": "기업들이 강력한 구조 조정으로 군살을 빼 효율성과 생산성을 높이고 있다.",
        "id": "ff6cfecbc7a8028d482b41250c5ab9055e5735822f2b94808367f0f87803490f",
        "refSrc": "stdict",
        "refid": "519867",
        "domain": [
            "경제",
            "순수 과학",
            "철학 및 교육"
  "sentSource": "",
        "concepts": [
            {
                "stem": "기업들",
                "postag": "NNG"
            },
            {
                "stem": "구조",
                "postag": "NNG"
            },
            {
                "stem": "조정",
                "postag": "NNG"
            },
            {
                "stem": "군살",
                "postag": "NNG"
            },
            {
                "stem": "빼다",
                "postag": "VV"
            },
            {
                "stem": "효율성",
                "postag": "NNG"
            },
            {
                "stem": "생산성",
                "postag": "NNG"
            },
            {
                "stem": "높이다",
                "postag": "VV"
            }
        ],
        "tagged": {
            "text": {
                "content": "기업들이 강력한 구조 조정으로 군살을 빼 효율성과 생산성을 높이고 있다."
            },
            "tokens": [
                {
                    "text": {
                        "content": "기업들이"
                    },
                    "morphemes": [
                        {
                            "text": {
                                "content": "기업"
                            },
                            "tag": "NNG",
                            "probability": 0.9731217622756958
                        },
                        {
                            "text": {
                                "content": "들",
                                "begin_offset": 2
            },
                            "tag": "XSN",
                            "probability": 0.98529452085495
                        },
                        {
                            "text": {
                                "content": "이",
                                "begin_offset": 3
                            },
                            "tag": "JKS",
                            "probability": 0.9813772439956665
                        }
                    ],
                    "lemma": "기업",
                    "tagged": "기업/NNG+들/XSN+이/JKS"
                },
                {
                    "text": {
                        "content": "강력한",
                        "begin_offset": 5
                    },
                    "morphemes": [
                        {
                            "text": {
                                "content": "강력",
                                "begin_offset": 5
                            },
                            "tag": "NNG",
                            "probability": 0.936255693435669
                        },
                        {
                            "text": {
                                "content": "하",
                                "begin_offset": 7
                            },
                            "tag": "XSA",
                            "probability": 0.919582188129425
                        },
                        {
                            "text": {
                                "content": "ㄴ",
                                "begin_offset": 7
                            },
                            "tag": "ETM",
                            "probability": 0.998747706413269
                        }
                    ],

데이터셋 구축 담당자

수행기관(주관) : ㈜나라지식정보

수행기관(참여)

데이터 관련 문의처