AI-Hub

#트위터 # 일상 대화 # 연속 대화

트위터에서 수집 및 정제한 대화 시나리오

분야미분류
유형 텍스트

조회수 : 1,050 다운로드 : 97 용량 :

소개 파일 목록 (API 다운로드)

※ 내국인만 데이터 신청이 가능합니다.

데이터 토론 목록

소개

워드넷 키워드를 이용한 대용량 크롤러에 의해 대화 시나리오 자동 수집 후, 가치 있는 대화 시나리오를 수작업으로 선별, 교정 등 정제작업 수행.
트위터에서 다수의 화자가 다수의 turn으로 일상적인 주제에 대해서 주고받은 고품질 대화 데이터 구축함.

구축목적

인간은 오래 사귄 친구와 커피숍에 앉아서 이런 저런 이야기를 주고 받으며 인생을 이야기하듯이, AI와도 그렇게 하기를 원함.
일상적인 다양한 주제에 대한 연속대화 문장을 수집하여, 시나리오를 구축함으로써, 연속대화를 위한 인프라를 구축하고자 함.

구축량
- 1차년도: 1~17turn 2,000 Set
구축량
- 1차년도: 1~17turn 2,000 Set
대표 도면

필요성
- 인간은 오래 사귄 친구와 커피숍에 앉아서 이런 저런 이야기를 주고 받으며 인생을 이야기하듯이, AI와도 그렇게 하기를 원함.
- AI에서 일상대화는 최근 많은 연구개발이 진행되고 있지만 기술적 난이도가 높아서, 연속적인 대화를 지원하지 못하는 실정임.
- 일상적인 다양한 주제에 대한 연속대화 문장을 수집하여, 시나리오를 구축함으로써, 연속대화를 위한 인프라를 구축하고자 함.
- 일상대화 데이터셋으로부터, 대화 의도와 맥락을 분석, 추론할 수 있으며, 감정, 대화 상대방의 나이, 성별 등을 구별하는데 용이.
구축 내용
- 트위터에서는 화자2명이 1turn(45%), 2turn(16%), 화자 3명이 3turn(7%), 4turn(5%), 5turn(3%) 순서로 대화를 많이 함.
- 트위터 특성상, 화자 2명이 간소한 1~2turn대화를 가장 많이 하고, 화자 3명이 모였을 때, 3턴 이상 대화를 심도있게 하며, 화자 4명일 때는 화자 3명일 때와 비교해서 11% 수준으로 대화빈도가 급속히 감소하는 것으로 볼 때, 트위터에서는 화자 2~3명이 1~5turn 대화를 주로 주고받는 것으로 확인.
- 워드넷 키워드를 이용한 대용량 크롤러에 의해 대화 시나리오 자동 수집 후, 가치 있는 대화 시나리오를 수작업으로 선별, 교정 등 정제작업 수행.
- 트위터에서 다수의 화자가 다수의 turn으로 일상적인 주제에 대해서 주고받은 고품질 대화 데이터 구축함.
데이터 구조
- 다수의 turn(질문, 답변 1회)으로 구성된 연속 대화 시나리오
- 각 문장 사이는 Tab 구분자 표시
- 예) 기계식 키보드 써보고 싶어요. 싼 것도 많던데 써보세요. 정말 좋아요. 싼 것도 있나요? 예전에 봤을 땐 다 10만 원이 넘던데요. 이거 쓰는데 예쁘고 딸깍거려요. 우와 진짜 예뻐요. 불 끄면 더 예뻐요. 저런 키보드 처음 봐요. 진짜 예쁘네요.
활용 예시
- 연속대화 시스템에 활용
다운로드 폴더 구성정보

데이터셋 구축 담당자

수행기관(주관) : 보리(주)

수행기관(주관)
책임자명	전화번호	대표이메일	담당업무
고연정	031-409-0938	bory@bory.io

보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청

인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석
1. AI 허브 접속
  신청자
2. 안심존
  사용신청신청자신청서류 제출*
3. 심사구축기관
4. 승인구축기관
5. 데이터 분석 활용신청자
6. 분석모델반출신청자
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의