AI Hub
Mercy Project
첨부파일
없음
등록일
2019.12.18
조회수
1,453

- 소재지 :  서울 

- 대표자 : 양서연 (홈페이지 URL https://github.com/mercy-project )

- 조직원수 : 14명

- 설립연도 : 2019년

- 대표연락처 : 010-****-4102

 

AI서비스 개발 목표는?

이 프로젝트는 문화에 영향을 받아 사회 AI for Social Good ,에 기여하고자 하는 엔지니어와 디자이너들이 모여서 시작하게된 오픈소스 프로젝트입니다. 저희는 개발하는 멀티모달 딥러닝 감정 분석을 통해서 사회에 작은 도움이 될 수 있는 일들을 찾아보고 있습니다. 저희가 이 앱을 제작하면 공부했던 내용을 이후 튜토리얼형식으로 작성하여 배포할 목표를 가지고 있습니다. 감정을 표현하지 못하는 사회에서 사람들이 자신의 감정을 보다 잘 표현하고 인식하며 서로 돌볼 수 있는 사회를 만들기 위한 작은 기여가 되었으면 좋겠다고 생각하고 진행해왔습니다

 

무슨 문제가 있었는지? 

저희의 첫 목표는 사람들의 우울증을 개선하여 자살을 방지할 수 있는 앱을 만들어 사회에 이바지하고자 하였습니다. 하지만 의료데이터는 접근과 다루는 데에 많은 제약사항이 있었고, 서비스로 상용화하더라도 많은 어려움이 있음을 알게 되었습니다. 어렵게 구한 공개 데이터셋들 조차 학술용으로밖에 사용할 수 없는 제약 등이 걸려있었습니다. 그래서 우울증과 가장 비슷한 형태의 멀티모달 감정분석 데이터를 조사하는 중에 AI Hub 데이터를 발견하게 되어 큰 도움이 될 수 있었습니다

 또한, 저희는 먼저 AI를 제작한 후에 서비스를 제작하였는데, 해당 딥러닝모델을 활용하여 실제 유용할 수 있는 서비스를 구상하는 것이 참 어려웠습니다. 오랜 시간 동안 계속 아이디어 브레인 스토밍과 유저리서치 그리고 벤치마킹을 통해서 서비스 아이디어를 고안해보았고, 이러한 과정을 통해 엔지니어와 디자이너분들이 같이 협업해나가고 아이디어를 빌딩해 나가는 과정을 거쳤습니다. 토이 프로젝트에서 하나의 서비스를 만들기 위해 다양한 분야의 사람들과 소통하며 협력하는 기회를 얻을 수 있었고 서로 유익한 경험이 될 수 있었습니다.

 

어떤 AI허브 데이터를 활용?  

의료용 우울증, 치매등의 인식 데이터 대신 먼저 감정분석 데이터에 접근하게 된 것은 이것이 비슷한 format을 가지되 사람의 정신적인 면을 판단하는 데이터였기 때문입니다. 또한 로봇이나 앱에 적용시에 주로 취득하게 되는 데이터 포맷이 동영상일 것이라고 예상하였기 때문에 멀티모달 동영상으로 구성되어있다는 점이 가장 큰 유리함이었습니다. 해당 데이터는 저희가 데이터를 너무나 어렵게 찾고 있을 당시 nia에서 처음 발표되었고 특히 한국어 기반의 데이터는 너무나 반가운 선물이었습니다. 한국인과 외국인의 얼굴의 형태적인 차이가 존재하며 한국어의 음성적 특징 또한 다릅니다. 특히 한국어로 된 감정데이터는 상당히 구하기 힘들었던 까닭에 특히 소중하였으며, 감정적인 부분도 다른 나라의 정서와 여러면에서 다른 점이 많기 때문에 해당 데이터는 자국인 한국인들에게 유익한 서비스를 만들기에 상당히 유용하다고 판단하였습니다

 

AI서비스 개발을 위한 활용 방법은?

123

저희는 해당 멀티모달 감정 데이터를 분석하여 비전모델에는 Xception 모델, 음성에는 inception 3 모델, 그리고 NLP 부분에는 Bert를 결합하여 멀티모달 분석을 수행하였습니다. 이를 온디바이스에서 inference를 수행할 수 있는 서비스를 제작하기 위해서 해당 모델을 tensorflow lite 로 변환하였고 안드로이드 앱에 적용시켰습니다. 해당 감정분석 모델을 실제 사람의 발화 상황 뿐만 아니라 컨텐츠에 대해서 적용하여 분석하는 내용도 수행하고 있으며 성능을 개선하기 위한 부분과 온디바이스에서 경량화 하기 위한 부분 또한 고려하여 로봇에서도 실시간으로 감정분석이 가능하도록 제작 중에 있습니다

      

어떤 성과를 나타내었나?

  AI Hub의 멀티모달 감정 데이터 셋을 이용하여 감정분석이 가능한 딥러닝 모델을 형태인 tensorflow lite 로 변환하고 안드로이드 앱에 적용시켜 본인의 감정을 잘 인지하지 못하는 바쁜 현대인들에게 딥러닝을 통한 감정분석을 통해 자신의 감정에 맞는 맞춤 서비스를 제공할 수 있는 부분에 대해서 고민하였고, 한국 콘텐츠 진흥원에서 수행하는 공감하다프로젝트에 감정로봇팀으로 선정이 되어 프로젝트의 지원을 받을 수 있었습니다. 그 결과 현재 저희는 현재 어린아이들의 감정을 인식하고 이에 맞는 유튜브 컨텐츠를 추천해줄수 있는 감정로봇을 제작하고 있습니다. AI Hub 데이터를 이용하여 학습시킨 결과 아이들의 감정을 분석하는 부분에서 온디바이스로 감정분석을 효과적으로 수행하고 있습니다

 

앞으로 어떻게 발전시킬 계획?

4

저희는 어린아이들이 유익한 감정을 가질 수 있는 컨텐츠들을 추천하고 유해한 컨텐츠를 차단할 수 있는 안드로이드 앱을 제작하고자 합니다. 또한 이를 확장하여 부정적인 감정이 심해지는 우울증이나, 독거노인들의 말동무, 치매환자등에 멀티모달 감정분석에서 해당 모델에 다른 데이터로 확장될 수 있는 다른 의료나 헬스케어 방면 데이터등의 분석에 적용할 계획을 가지고 있습니다. 이를 통해서 데이터에서 실제 사회에 도움이 되는 서비스로 탈바꿈하여 사람들에게 좋은 가치를 전달하고 그에서 보람을 느끼고 싶습니다