AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 전문분야(사회과학) 맥락에서 자연스러운 연속 대화가 가능한 AI를 구축하기 위한 학습용 데이터
- 멀티세션 대화 및 발화에 활용한 문서 정보, 검색어 등이 태깅된 대화 데이터

구축목적

- 긴 맥락의 연속된 대화를 기억하고 전문분야 문서 내용을 반영한 자연스러운 대화 데이터 수집

- 모델학습
전체 대화방 json을 세션 수를 고려하여 8:1:1로 훈련, 검증, 평가 데이터셋을 나누어 준비한다. 대화 생성 모델을 구축할 때, 인코더-디코더 구조의 생성형 AI 모델 ET5를 활용한다. 모델의 인풋에 이전 대화의 히스토리에 해당하는 토큰 시퀀스, 참고 전문문서 토큰 시퀀스, 요약 정보 토큰 시퀀스의 컨캐트네이션 (concatenation)을 통해 입력 토큰 시퀀스를 생성하고, 이에 해당하는 답변을 예측하도록 모델링한다. 

- 서비스 활용 시나리오
 ○ 연구 분야
   - 인문사회과학 분야에서 연속된 대화의 맥락을 기억하고 참조하여 심도 있는 문제 해결에 기여할 수 있음.
   - 연속된 대화를 기억하고 활용함으로써 챗봇 및 자연어 처리 기술의 발전을 도모, 심도 있는 문제 해결을 가능하게 함.
   - 한국어 멀티세션 대화 데이터는 한국어뿐만 아니라 다양한 언어에서의 AI 기술 발전을 촉진함.
 ○ 산업 분야
   - 기업들은 한국인과의 원활한 대화가 가능한 챗봇 및 음성비서 기술 개발에 이 데이터를 활용할 수 있음.
   - 고객 맞춤형 상품 추천 및 지식 서비스 제공을 위한 챗봇이나 음성 AI 비서 개발 시, 과거 대화 이력을 활용해 맞춤형 서비스 제공이 가능.
   - 다양한 산업에서 AI를 활용하여 고객과의 소통을 강화하고, 더 개인화된 고객 경험을 제공할 수 있음.

- 데이터 구성
1. 전문대화 정보 및 대화자 정보 내역: 파일명 및 세션단계, 참여자 수, 참여자 ID, 참여자 정보 
2. 대화 참여자 페르소나 정보 내역: 대화방ID, 질문자의 페르소나 ID, 질문자의 페르소나 특징, 화자 유형, 전문가의 페르소나ID 
3. 전문대화 토픽 정보 및 세션 정보 내역: 토픽ID, 토픽 유형, 토픽 타이틀, 키워드, 이전 세션ID, 몇 번째 세션, 발화 수, 말차례 수, 세션ID 
4. 세션 내 전문 대화 내역: 대화 발화자 정보 및 페르소나, 작업자의 발화, 검색 내용, 검색어 Query, 검색결과, 검색 결과 문서 ID, 검색 결과 문서 제목, 검색 결과 문서 내용, 발화에 참고한 내용 선택 여부, 검색된 문서 내용 중 발화에 참고한 파트만 True, 발화에 대한 요약, 발화 TimeStamp 
5. 세션 내 전문 대화 요약 내역: 세션 내 질문자 화자 발화 요약, 세션 내 전문가 화자 발화 요약, 이전 세션의 질문자 화자 발화 총 요약, 이전 세션의 전문과 화자 발화 총 요약, 세션 대화 내용 요약

<라벨링 데이터 주요 속성 어노테이션 명세>

<원천데이터 분포 명세>

- 어노테이션 포맷

- 데이터 포맷

- 실제 데이터 예시

{
  "FileInfo" : {
    "filename" : "HS-293104-AP217678-WZ000001-02_01_01-S2.json",
    "sessionLevel" : "2"
  },
  "participantsInfo" : {
    "numberOfParticipants" : "2",
    "speaker1" : {
      "participantID" : "NC0002",
      "gender" : "여성",
      "age" : "30대",
      "occupation" : "교직",
      "bPlace" : "광주/전라/제주",
      "gPlace" : "광주/전라/제주",
      "rPlace" : "광주/전라/제주",
      "educationLevel" : "대졸",
      "major" : "유아교육학심리학"
    },
    "speaker2" : {
      "participantID" : "ND0002",
      "gender" : "남성",
      "age" : "60대 이상",
      "occupation" : "전문직",
      "bPlace" : "광주/전라/제주",
      "gPlace" : "광주/전라/제주",
      "rPlace" : "광주/전라/제주",
      "educationLevel" : "대학원졸",
      "major" : "법학신학"
    }
  },
  "multisessionInfo" : {
    "multisessionID" : "293104"
  },
  "personaInfo" : {
    "apprenticeInfo" : {
      "personaID" : "AP217678",
      "personaFeatures" : [ "나는 뇌과학의 개념에 대한 지식을 쌓고 있다.", "나는 전자기기를 잘 활용한다", "나는 뉴질랜드에 가 보고 싶다" ],
      "speakerType" : "speaker1"
    },
    "wizardInfo" : {
      "personaID" : "WZ000001",
      "personaFeatures" : [ "나는 개념에 대해 잘 아는 챗봇이다." ],
      "speakerType" : "speaker2"
    }
  },
  "topicInfo" : {
    "topicID" : "02_01_01",
    "largeCategory" : "인간과학과 기술",
    "mediumCategory" : "뇌과학",
    "smallCategory" : "개념"
  },
  "sessionInfo" : [ {
    "prevSessionID" : "",
    "prevTimeInfo" : {
      "timeNum" : null,
      "timeUnit" : null
    },
    "nthSession" : "1",
    "numberOfUtterances" : "14",
    "numberOfTurns" : "7",
    "sessionID" : "293104-1",
    "sessionKeywords" : [ "*운동 지각*의 내용, *운동 지각*의 핵심 정보, *운동 지각*의 전반적인 정보" ],
    "dialog" : [ {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "안녕하세요~ 날씨도 좋고 기분이 좋네요~!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039072000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "반갑습니다! 사용자님이 좋으시다니 저도 좋네요!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039075000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "그렇게 얘기해주시니 너무 좋네요~ 저는 뇌과학의 개념에 대한 지식을 쌓고 있어요~",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 뇌과학의 개념에 대한 지식을 쌓고 있다.",
      "timestamp" : 1703039092000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "아하, 뇌과학의 개념에 대한 지식을 쌓고 있군요~",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039099000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "그렇습니다. 뇌과학의 개념에 대해 잘 아시나요?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039112000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "네, 저는 개념에 대해 잘 아는 챗봇입니다.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039118000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "오! 그럼 운동 지각에 대해 알려주세요!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039136000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "그럴게요. 운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정입니다. 추론하는 과정이네요~",
      "context" : {
        "query" : "운동 지각",
        "contents" : [ {
          "documentID" : "3036954",
          "documentTitle" : "운동 지각",
          "content" : [ "운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정이다.", "이 과정은 대부분의 관찰자에게 간단해 보이지만 계산적 관점에서 어려운 문제이며 신경 처리 측면에서 설명하기 어려운 것으로 입증되었다.", "운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구된다." ]
        } ]
      },
      "selectedContents" : [ [ true, false, false ] ],
      "summary" : "운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정이다.",
      "timestamp" : 1703039158000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "아하, 그럼 운동 지각은 어느 학문에서 연구가 되고 있나요?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039185000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "네, 운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구됩니다.",
      "context" : {
        "query" : "운동 지각",
        "contents" : [ {
          "documentID" : "3036954",
          "documentTitle" : "운동 지각",
          "content" : [ "운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정이다.", "이 과정은 대부분의 관찰자에게 간단해 보이지만 계산적 관점에서 어려운 문제이며 신경 처리 측면에서 설명하기 어려운 것으로 입증되었다.", "운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구된다." ]
        } ]
      },
      "selectedContents" : [ [ false, false, true ] ],
      "summary" : "운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구된다.",
      "timestamp" : 1703039202000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "그렇군요! 알려주셔서 감사해요~!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039214000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "별 말씀을요. 더 필요한 정보는 없으신가요?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039217000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "괜찮아요~ 다음에 또 궁금한 것이 있으면 물어보러 올게요! 저는 뉴질랜드에 가 보고 싶어서 알아보러 갈게요~",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "나는 뉴질랜드에 가 보고 싶다",
      "timestamp" : 1703039238000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "네, 그럼 다음에 또 찾아주세요.",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039245000
    } ],
    "sessionSummary" : {
      "apprentice" : [ "나는 뇌과학의 개념에 대한 지식을 쌓고 있다.", "나는 뉴질랜드에 가 보고 싶다" ],
      "wizard" : [ "운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정이다.", "운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구된다." ],
      "dialogSummary" : "사용자는 운동 지각에 대해 질문을 했고 챗봇은운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정이고 운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구된다라고 대답했다. "
    },
    "prevAggregatedSummary" : {
      "apprentice" : [ ],
      "wizard" : [ ]
    }
  }, {
    "prevSessionID" : "293104-1",
    "prevTimeInfo" : {
      "timeNum" : "5",
      "timeUnit" : "일"
    },
    "nthSession" : "2",
    "numberOfUtterances" : "14",
    "numberOfTurns" : "7",
    "sessionID" : "293104-2",
    "sessionKeywords" : [ "*신경 조직*의 발생, *신경 조직*의 형태, *신경 조직*의 구성" ],
    "dialog" : [ {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "안녕하세요! 반갑습니다~ 5일 만이네요~",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039264000
    },
(중 략)
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "네, 신경조직을 이루는 세포를 신경세포(neuron)와 신경아교세포(neuroglia, glia)로 분류할 수 있습니다.",
      "context" : {
        "query" : "신경 조직",
        "contents" : [ {
          "documentID" : "544443",
          "documentTitle" : "신경 조직",
          "content" : [ "신경 조직()은 신경계통을 구성하는 주된 조직으로, 상피 조직, 결합 조직, 근육 조직과 더불어 동물의 네 가지 기본 조직에 속한다.", "구성.", "신경조직을 이루는 세포를 신경세포(neuron)와 신경아교세포(neuroglia, glia)로 분류할
(중 략)
     아교세포는 신경관을 이루는 신경외배엽 세포에서 기원한다.", "예외적으로 큰포식세포의 전구세포에서 분화하는 미세아교세포만은 중배엽에서 기원한다.", "한편 말초신경계통의 신경세포와 신경아교세포는 신경능선세포(neural crest cell)에서 기원한다." ]
        } ]
      },
      "selectedContents" : [ [ false, false, true, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false, false ] ],
      "summary" : "신경조직을 이루는 세포를 신경세포(neuron)와 신경아교세포(neuroglia, glia)로 분류할 수 있다.",
      "timestamp" : 1703039381000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "와, 덕분에 많은 정보를 알게 되었네요!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039393000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "네, 더 필요한 정보가 있으신가요?",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039396000
    }, {
      "speaker" : "speaker1",
      "personaID" : "AP217678",
      "participantID" : "NC0002",
      "utterance" : "아니요! 이 정도면 충분해요! 다음에 다시 올게요~",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039400000
    }, {
      "speaker" : "speaker2",
      "personaID" : "WZ000001",
      "participantID" : "ND0002",
      "utterance" : "네, 이용해주셔서 감사합니다!",
      "context" : {
        "query" : null,
        "contents" : [ {
          "documentID" : null,
          "documentTitle" : null,
          "content" : [ ]
        } ]
      },
      "selectedContents" : [ [ ] ],
      "summary" : "",
      "timestamp" : 1703039403000
    } ],
    "sessionSummary" : {
      "apprentice" : [ "나는 전자기기를 잘 활용한다" ],
      "wizard" : [ "신경 조직은 신경계통을 구성하는 주된 조직으로, 상피 조직, 결합 조직, 근육 조직과 더불어 동물의 네 가지 기본 조직에 속한다.", "신경조직을 이루는 세포를 신경세포(neuron)와 신경아교세포(neuroglia, glia)로 분류할 수 있다." ],
      "dialogSummary" : "사용자는 신경 조직에 대해 질문을 했고 챗봇은 신경 조직은 신경계통을 구성하는 주된 조직으로, 상피 조직, 결합 조직, 근육 조직과 더불어 동물의 네 가지 기본 조직에 속하고 신경조직을 이루는 세포를 신경세포(neuron)와 신경아교세포(neuroglia, glia)로 분류할 수 있다라고 대답했다. "
    },
    "prevAggregatedSummary" : {
      "apprentice" : [ "나는 뇌과학의 개념에 대한 지식을 쌓고 있다.", "나는 뉴질랜드에 가 보고 싶다" ],
      "wizard" : [ "운동 지각 (運動知覺)은 시각, 전정 및 고유수용성감각 입력을 기반으로 장면에서 요소의 속도와 방향을 추론하는 과정이다.", "운동 지각은 심리학 (즉, 시각 인식), 신경학, 신경생리학, 공학 및 컴퓨터 과학을 포함한 많은 분야에서 연구된다." ]
    }
  } ]
}

데이터셋 구축 담당자

수행기관(주관) : 미디어젠(주)

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처