AI-Hub

데이터 변경이력

소개

· 비대면 온라인 진로상담을 통해 수집된 진로상담 텍스트 데이터
· 진로상담 기록에서 나타난 학생의 추천 직업군을 분류하여, 진로상담 기록에서 추천 진로를 예측하는 데이터

구축목적

진로상담 과정에서 대화 맥락에 맞는 문장을 구성하여 제공할 수 있는 AI를 학습
· 학생의 상담 데이터를 기반으로 적합한 진로 계열을 예측할 수 있는 AI를 학습

① 대화형 모델
    - 상담기록 데이터의 이전 맥락(약 10턴 내외의 발화)을 입력으로 받아 채팅 답변을 생성하는 일반 교사의 상담 보조 목적 대화형 모델 개발
     ·학생별로 진행된 상담기록 데이터 전체를 Language Model의 학습 데이터로 삼아, 주어진 이전 대화 맥락(약 10턴 내외)에 이어지는 상담사의 답변을 생성하도록 학습
     ·모델 성능 평가를 위해 하나의 상담기록 데이터에서 8개 대화세션을 추출하고, 나머지 대화세션 전체를 학습 데이터로 사용
    - GPT-NeoX 기반 모델 구조 설계
     ·EleutherAI에서 오픈소스로 공개한 한국어 언어 모델 Polyglot-5.8B 모델을 기반으로 추가 전이 학습 (Fine-Tuning) 수행
     ·상담의 맥락을 고려하여 모델의 최대 입력 Token 수를 512로 제한
     ·상담 대화 채팅의 특성상 GPT가 학습하는 우측 Masking을 그대로 사용하여 학습을 진행할 수 있음
     ·상담사 대화 시작인 “[1]”을 프롬프트(Prompt)로 사용해 맥락에 맞는 대화를 생성하도록 학습
    - 학습된 모델은 MOS, SSA 지표로 성능을 측정하며, 최종 수치는 추후 평가 예정

 ② 분류형 모델
    - 대화 형식의 상담기록 데이터를 입력받아 추천 직업군을 예측하는 분류형 모델 개발
     · 학생별로 2번에 걸쳐 진행된 상담기록 데이터를 모두 입력으로 받아 43개의 직업 카테고리 중 가장 적합한 것을 출력
     · 구축한 데이터셋을 8:1:1 비율로 나눠(Split) 각각 Train/Validation/Test Set으로 활용
 - TF-IDF 변형 알고리즘과 한국어 RoBERTa 기반의 모델 구조 설계
     · 업스테이지, 네이버 CLOVA 등에서 공개한 Pre-Trained KLUE-RoBERTa-large 모델을 구축 데이터셋으로 추가 전이 학습(Fine-Tuning)
     · 상담기록 데이터는 매우 긴 Text Length를 갖는데, 일반적인 Transformer 기반의 Language Model은 이러한 데이터를 처리하기에 적합하지 않음
     · 긴 Text Length 데이터를 처리하는 데에 특화된 KoBigBird 모델 구조를 초기에 제안하였으나, 정답을 도출하는 데에 유의미하지 않은 정보가 다수 포함된 입력 데이터 특성상, TF-IDF를 활용하여 주요 키워드를 추출한 후 이를 Language Model에 입력하는 방식이 더 유리하다고 판단
     · 추출하는 키워드 집합은 Document Frequency Threshold 값에 따라 달라지는데, Validation Set에서 가장 좋은 성능을 보이는 값(0.3)으로 설정
    - 학습된 모델은 Accuracy 지표로 성능을 측정하며, 최종적으로 66.82%의 수치를 기록

데이터 성능 점수

   원천데이터 포맷

 1) 상담기록 데이터(json)

// 살짝 합친 형태 Counselling > Conversation > Utterance
[
    { // 1개의 Counselling
      "Meta": {
            "student idx": "S-0001",
            "counseling_idx": 1,
            "counsellor_idx": "T-0001",
            "CounsellingPurpose": "상담을 받고 싶어요.",                      “counselling_satisfaction“:4, 
                             “counselling_date“:”2022-08-24“, 
        },
        "Conversation": {
            // 1개의 Conversation, 인덱스, Counselling 내부의 구별자.
            1: {
            "SelfEval": [5,4,5],
                "Utterances": [
                    {
                        "speaker_idx": "S-0001",
                        "utterance": "저는~~~",
                        "utterance_idx": 1,
                    },
                    {
                        "speaker_idx": "T-0001",
                        "utterance": "컴퓨터를 쓰며~",
                        "utterance_idx": 2, // Not Unique, Conversation 내부의 순서만.
                    },
                ],
            },
            2: {...},
        }
    },
    {...},
    ...,
]

  2) 학생기초정보 데이터(json)

// student_.json or studentinfo.json
{
    "StudentMetaData": {
        "MetaBasics": {
            "UID": 1234,
            "SchoolType": "중학교",
            "Region": "성남시 분당구",
            "Gender": "남/여/무응답",
        },
        "PreliminaryInspection": {
            "Grade": "상/중/하",
            "CounsellingPurpose": "상담을 받고 싶어요.",
            "Surveys": [
                {
                    "Question_1": "자기자신에 대해 얼마나 알고있다고 생각하나요?",
                    "Answer_1": 4,
                },
        {
                    "Question_2": "대학교 학과에 대해 들어본 적이 있나요?",
                    "Answer_2": 5,
                },
                ...
            ]
        }
    }
}

 3) 한국어_직업기초 데이터 (json)

[{
    "Index": 1,
    "Category": "4차산업 ",
    "SubCategory": "정보통신계열",
    "DetailInformation": {
        "AnnualExpectedIncome(KRW)": 80000000,
        "RequiredAbility": [
            "수리통계능력",
            "정보활용능력",
            ...
        ],
        "RelatedDepartments": [
            "통계학과",
            "컴퓨터공학과",
            ...
        ],
        ...
    },
    ...
},...]

   라벨링데이터 포맷

   1) 전문가 라벨링 데이터 (json

[{
    "student_idx": "s-00001",
    "counselling_summaries": [
        {
            "counselling_idx": 1,
            "highlights": [
                {
                    "start_idx": 10,
                    "end_idx": 15
                }, ...
            ],
            "summary": "~~"
        },
        {
            "counselling_idx": 2,
            "highlights": [
                {
                    "start_idx": 120,
                    "end_idx": 130
                }, ...
            ],
            "summary": "~~"
        }
    ],
    "recommended_job_categories": [
        {
            "priority": 1,
            "job_category_idx": 7
        }, 
        ...
    ],
    "expert_comment": {
        "ko": "ㅁㄴㅇㄹ",
        "en": "aaaa",
        "tl": "",
        "vi": "",
    },
    "hashtags": [
        "#대답을 잘 함",
        "#적극적임",
        ...
    ]
}, ...])

데이터셋 구축 담당자

수행기관(주관) : ㈜데이터드리븐

수행기관(참여)

데이터 관련 문의처