AI데이터 구축 일자리 참여 바로가기

시각정보 기반 질의응답

시각정보 기반 질의응답 AI데이터구축

Establish an AI Dataset for Visual Information-Based Question and Answering

구축목적
  • 시각정보기반 질의응답 데이터셋을 구축하고 시각장애자 지원용 질의응답 서비스 시범 모델을 개발
활용분야
  • 소방 안전분야(소방 규정 미흡 자동 확인 서비스), 생활 안전분야(기각정보 기반 위험인지), 육아 보조(위험 객체 분석 알림), 시각장애인 보행 보조 어플리케이션(TTS 알림 어플), 실내 기구 가상 배치 서비스(3D공간 스캔), 건축 설계분야(스캔맵을 통한 도면화), 스마트행정(독거노인 응급 상황 신고 서비스) 등
주요 키워드
  • 시각정보 기반 질의응답, 인공지능 학습용 데이터, 데이터 수집, 데이터가공, 데이터셋, 어노테이션
소개
  • 시각정보기반 질의응답(Visual Question Answering, VQA) 기술연구의 학습용 데이터셋을 이미지와 이미지에 대한 질문과 대답으로 구성된 시각정보기반 질의응답 데이터셋 구축
구축 내용 및 제공 데이터량
  • 데이터 100만개 이미지사용

img

 

  • 시각장애인 생활 공간 이미지 데이터 35만개 사용
  • 총 135만장으로 질문,답변 데이터셋 750만개 구축
대표도면

img

 

필요성
  • 자율주행, 로봇, XR 등 지능형 산업이 발전하면서 시각지능 분야에 대한 사회적 요구 대두
  • 국내 시각지능관련 기술(VQA, GQA) 역량은 세계 대회에서 매년 우수한 성적을 거두지만 한국 환경에 맞는 한국어 VQA AI 데이터는 부족하여 국내에 특화된 미래 산업을 준비하는데 어려움이 있음
  • 한국형 VQA 학습 데이터 부족으로 한국형 VQA 알고리즘 개발 및 연구가 미흡한 실정
  • 코로나19 펜데믹 선언 후 취업 취약계층의 증가, 소득의 급감 등 사회적 취약계층이 어려움을 호소 중으로 비대면 일자리의 사회적 수요 증가
  • “百聞不如一見 - 백번듣는 것이 한 번 보는 것보다 못하다.” 시각장애인에게 시각정보기반 AI는 매우 소중하게 활용된다. 자율주행, 교육, 산업용로봇, 재해대응 등 모든 분야에서 활용도가 상승할 것으로 예상
  • 개인이 VQA 학습용 데이터를 수집하는데 한계가 있음. 국가 지원을 통한 생태계 구축으로 개발자들의 적극적인 참여를 독려
데이터 구조

img

 

데이터셋 구축 담당자
수행기관(주관) : ㈜유클리드소프트

 

 
책임자명 전화번호 대표이메일 담당업무
박주한 010-6476-1101 jhpark@euclidsoft.co.kr · 전체 과제에 대한 총괄, 책임 및 관리
· VQA 데이터 수집, 정제, 가공 및 구축
· VQA 데이터셋 설계, 검수 및 유효성 검증
· VQA 데이터를 활용한 서비스 모델의 시범 구축 방안 제시
· 데이터셋 해커톤 경연대회 개최
· VQA 데이터셋의 공개
수행기관(참여)
 
 
기관명 담당업무 기관명 담당업무
공주대학교산학협력단 · 시각장애자 AI 자율안내 서비스용 모델 개발과 질의응답 데이터셋 검증
· VQA 데이터셋과 서비스 모델의 유의미 분석
· 경연대회결과에 대한 통계적 분석
한국원자력연구원 · 데이터 저작도구 개선
· VQA 데이터를 활용한 전문분야 서비스 모델의 개발
· VQA 활용 모델의 질의응답 유효성 검증과 전문분야 실증
터치스톤 · 시각장애자 AI 자율안내 서비스용 데이터 획득
· VQA 학습데이터의 질의응답 데이터 구축
· VQA 데이터셋 서비스 모델의 서비스 검증과 활용
   
논문 인용 정보