AI 리더보드

개요
  • 리더보드는 AI데이터를 활용하여 주어진 과제를 해결하기 위한 알고리즘의 성능을 Ranking순으로 게시합니다.
  • AI 허브에서의 다양한 데이터를 통해 매번 새로운 주제가 갱신되며 리더보드가 운영되는 기간동안 사용자가 직접 참여하여 Ranking을 확인할 수 있습니다.
MRC 데이터셋
  • MRC 데이터셋은 한국어 기계독해를 위해 만든 데이터셋입니다. Stanford Question Answering Dataset (SQuAD)v1.0과 동일한 방식으로 구성되었습니다.
  • MRC 데이터셋의 전체 데이터 중 정답이 있는 본문-질문-답변 쌍 25만건으로 구성되어 있으며, 이를 Training Set과 Dev Set으로 구분했습니다
     
리더보드 참여하기
  • 데이터셋으로 충분한 결과를 얻었다면, leaderboard에 모델을 제출해 다른 연구자들의 결과물과 비교해보세요. Test set은 공개되지 않습니다.
    자세한 방법은 아래 버튼을 눌러 들어가셔서 확인하실 수 있습니다. 
     

리더보드 참여하기

 

리더보드
  • * EM(Exact Match): 모델이 제시한 결과와 정답이 완전히 일치하는 비율을 의미하며 클래스가 균형된 데이터 평가에 이용
  •  * F1-scroe : 정밀도(Precision)와 재현율(Racell)의 조화평균을 의미하며 불균형 데이터에도 이용이 가능한 평가지표

 

 
Rank Reg.Date Model EM F1
1 2019-12-23 bert-base 81.22 58.5