AI-Hub

○ 임무 정의
    -베트남·말레이시아 IT/SW 콜센터 데이터 및 기술 매뉴얼 데이터를 기반으로, 다국어 상담 시나리오 생성 및 자동응답을 위한 AI 모델 개발
○ 임무 선정 사유
    -저자원 언어(Low-resource Language) 기반 데이터 구축을 통해, 다국어 AI 모델의 실사용 가능성을 검증하는 것을 목표
    - 콜센터 상담 데이터는 단순한 질의응답이 아닌 문제인식-원인탐색-해결-후속안내로 이어지는 복합적 구조를 가지므로, 이를 효과적으로 처리하기 위해 생성형 AI기반 모델 필수
    -시나리오 생성, 대화요약, 의도 분류를 동시에 수행 가능한 모델을 선정하여 데이터 유효성 및 활용성을 검증
○ 학습 모델 개발 환경
    - 학습 환경: Ubuntu, Python, Pytorch, GPU, HuggingFace Transformers 
    - 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
    -모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
    -모델 구조: RAG 기반 구조
○ 최종 선정 모델
    - Qwen3-8B
       *기존 Llama 계열 모델 대비 베트남,말레이시아어 등 아시아권 언어 처리 성능 우수토큰 처리 효율 및 문맥 이해 능력 개선
       *모델 특징대규모 언어모델 기반 자연어 생성 모델다국어 처리 및 문맥 기반 응답 생성에 최적화텍스트 생성+분류+요약 기능 통합 수행 가능
       *수행기능
         Text Generation
                 ∨상담 시나리오 생성
          ∨ 자동 응답 생성
         Summarization
          ∨ 대화요약
         Classfication
          ∨ 대화 의도 분류
          ∨ 상담 난이도 분류
          ∨ 문제 해결 단계 분석
       *Qwen3-8B 모델
          ∨ Alibaba Cloud에서 개발한 오픈소스 기반 대규모 언어모델(LLM)로, 텍스트 생성 및 이해를 중심으로 다양한 자연어 처리(Task)에 활용되는 생성형 인공지능 모델
          ∨ 다국어(Multilingual) 지원이 우수하며, 특히 아시아권 언어(베트남어, 말레이시아어 등)에서 높은 성능을 보이는 모델로 저자원 언어 환경에서도 안정적인 문맥 이해 및 응답 생성이 가능
          ∨ Text Generation, Summarization, Classification, Question Answering 등 다양한 자연어 처리 기능을 단일 모델에서 수행 가능하며, 콜센터 상담 시나리오 생성 및 의도 분석 등 복합 Task에 활용 가능
          ∨ Apache 2.0 등 오픈소스 라이선스를 기반으로 자유로운 사용, 수정 및 재배포가 가능하여 기업 및 연구 환경에서 활용성이 높음
          ∨ Hugging Face 등 공개 플랫폼을 통해 모델 접근성이 높고, 글로벌 AI 개발자 커뮤니티에서 활발히 활용되고   있어 확장성 및 실용성이 뛰어난 모델

[ Qwen3-8B 구조 ]                                                                                                         [ RAG Process ]

○ 학습 데이터 생성
    - 학습 데이터 요약 전처리
       * 대화요약을 모델 학습을 위한 데이터 생성
       * 고객과 상담사 간의 여러 대화 턴과, 전체 대화를 요약한 텍스트를 포함 함
    - 학습 데이터 포맷 변경 및 분할(9:1 로 분할)
       * train – JSON, train_summarization
       * validation – JSON, eval_summarization
       * test – JSON, test_summarization

[ 학습데이터 생성 예시 ]

○ AI 모델 성능

(해당 데이터는 저작도구를 지원하지 않습니다)

○ 라벨링데이터1(콜센터 대화의도 및 문맥 데이터) 포맷

○ 라벨링데이터2(QA 셋 이중번역 데이터)

○ 메타 데이터

○ json 예시(콜센터 대화의도 및 문맥 데이터)
 

{    "file_name": "CAL_MS_MOB_ASR_000001",
  "file_size": 1450,
  "language": "ms",
  "domain": "MOB",
  "turns": [
    {
      "speaker": "고객",
      "text": "Kemas kini perisian berhenti di peratus yang sama dan tidak bergerak.",
      "sub_intent": [],
      "intent": "문제신고",
      "stage": "문제인식",
      "difficulty": "매우높음",
      "technical": [
        "Update",
        "Wi-Fi"
      ]
    }
  ]
}

 json 예시(QA 셋 이중번역 데이터)
{
  "file_name": "CAL_VI_OFC_ACS_000001.csv",
  "file_size": 6224,
  "language": "vi",
  "domain": "OFC",
  "turn_count": 10,
  "turns": [
    {
      "id": 1,
      "speaker": "고객",
      "talk": "Em đang kích hoạt tài khoản mà hệ thống báo thông tin đăng nhập không khớp.",
      "talk_d": "",
      "talk_ko": "저는 지금 계정을 활성화하고 있는데 시스템에서 로그인 정보가 일치하지 않는다고 나와요.",
      "talk_tr": "Tôi đang kích hoạt tài khoản nhưng hệ thống báo thông tin đăng nhập không khớp."
    },
    {
      "id": 2,
      "speaker": "상담사",
      "talk": "Em đang dùng địa chỉ email nào và mở từ đúng liên kết kích hoạt trong email mới nhất chưa?",
      "talk_d": "",
      "talk_ko": "어떤 이메일 주소를 사용 중이고, 가장 최근에 받은 활성화 메일의 링크를 열어봤어요?",
      "talk_tr": "Em đang dùng địa chỉ email nào và đã mở đúng liên kết kích hoạt trong email mới nhất chưa?"
    },
    {
      "id": 3,
      "speaker": "고객",
      "talk": "Em dùng email công ty, em vừa bấm link trong Gmail trên Chrome máy cơ quan và trang báo sai thông tin.",
      "talk_d": "",
      "talk_ko": "회사 이메일을 사용하고 있는데 직장 컴퓨터의 Chrome에서 Gmail의 링크를 클릭했는데 페이지에 정보가 잘못되었다는 메시지가 표시되었습니다.",
      "talk_tr": "Em dùng email công ty, em vừa bấm link trong Gmail trên Chrome máy cơ quan và trang báo sai thông tin."
    },
    {
      "id": 4,
      "speaker": "상담사",
      "talk": "Em thử đăng xuất mọi tài khoản, mở cửa sổ ẩn danh rồi nhập lại email và mã kích hoạt chính xác được không?",
      "talk_d": "",
      "talk_ko": "모든 계정에서 로그아웃하고 시크릿 창을 열어서 이메일과 활성화 코드를 정확히 입력해볼래요?",
      "talk_tr": "Em thử đăng xuất mọi tài khoản, mở cửa sổ ẩn danh rồi nhập lại email và mã kích hoạt chính xác được không?"
    },
    {
      "id": 5,
      "speaker": "고객",
      "talk": "Em vừa làm theo, tín hiệu đổi sang thông báo mã không hợp lệ, kết quả vẫn không vào được.",
      "talk_d": "",
      "talk_ko": "지금 말씀하신 대로 했는데, 신호가 코드가 유효하지 않다고 바뀌고 여전히 접속이 안 돼요.",
      "talk_tr": "Em vừa làm theo, tín hiệu đổi sang thông báo mã không hợp lệ, kết quả vẫn không vào được."
    },
    {
      "id": 6,
      "speaker": "상담사",
      "talk": "Anh hiểu hơi nản đó. Em mở Cài đặt bàn phím, sau đó tắt tự động viết hoa, rồi mở lại trang kích hoạt, cuối cùng nhập thủ công không dán từ nơi khác. Khi hoàn tất em báo lại kết quả.",
      "talk_d": "",
      "talk_ko": "좀 답답하죠. 키보드 설정을 열고 자동 대문자 기능을 끈 다음 다시 활성화 페이지를 열어서 다른 데서 복사하지 말고 직접 입력해봐요. 다 하면 결과를 알려줘요.",
      "talk_tr": "Anh hiểu hơi nản đó. Em mở Cài đặt bàn phím, sau đó tắt tự động viết hoa, rồi mở lại trang kích hoạt, cuối cùng nhập thủ công không dán từ nơi khác. Khi hoàn tất em báo lại kết quả."
    },
    {
      "id": 7,
      "speaker": "고객",
      "talk": "Em đã nhập thủ công, tín hiệu mới báo mã hết hạn, kết quả vẫn lỗi.",
      "talk_d": "",
      "talk_ko": "직접 입력했는데 새 신호가 코드가 만료됐다고 뜨고 여전히 오류가 나요.",
      "talk_tr": "Em đã nhập thủ công, tín hiệu mới báo mã hết hạn, kết quả vẫn lỗi."
    },
    {
      "id": 8,
      "speaker": "상담사",
      "talk": "Anh ghi nhận mã đã quá hạn. Em mở Trang quản trị, sau đó vào Người dùng, rồi đến tài khoản của em, cuối cùng bấm Gửi lại email kích hoạt và làm theo email mới nhất. Xong em vào thử trang chủ.",
      "talk_d": "",
      "talk_ko": "코드가 이미 만료된 걸로 확인돼요. 관리 페이지를 열고 사용자로 들어가서 본인 계정을 선택한 다음 ‘활성화 메일 다시 보내기’를 눌러요. 새 메일을 확인하고 안내에 따라 한 뒤 홈페이지에 접속해봐요.",
      "talk_tr": "Anh ghi nhận mã đã quá hạn. Em mở Trang quản trị, sau đó vào Người dùng, rồi đến tài khoản của em, cuối cùng bấm Gửi lại email kích hoạt và làm theo email mới nhất. Xong em vào thử trang chủ."
    },
    {
      "id": 9,
      "speaker": "고객",
      "talk": "Em làm theo thư mới, tín hiệu hiện kích hoạt thành công, em đăng nhập được rồi, mừng quá.",
      "talk_d": "",
      "talk_ko": "새 메일 안내대로 했더니 활성화 성공 신호가 뜨고 로그인도 됐어요. 정말 기뻐요.",
      "talk_tr": "Em làm theo thư mới, tín hiệu hiện kích hoạt thành công, em đăng nhập được rồi, mừng quá."
    },
    {
      "id": 10,
      "speaker": "상담사",
      "talk": "Tốt rồi, tình trạng kích hoạt đã ổn định và em đăng nhập bình thường. Lần sau chỉ dùng email kích hoạt mới nhất, tránh dán mã từ tài liệu và kiểm tra mục Spam khi chờ thư. Cần gì thêm em nhắn anh ngay nhé.",
      "talk_d": "",
      "talk_ko": "잘됐어요. 이제 활성화가 안정됐고 로그인도 정상이에요. 다음부터는 가장 최근의 활성화 메일만 사용하고, 문서에서 코드를 복사하지 말고, 메일이 안 오면 스팸함도 확인해요. 필요하면 바로 연락 주세요.",
      "talk_tr": "Tốt rồi, tình trạng kích hoạt đã ổn định và em đăng nhập bình thường. Lần sau chỉ dùng email kích hoạt mới nhất, tránh dán mã từ tài liệu và kiểm tra mục Spam khi chờ thư. Cần gì thêm em nhắn anh ngay nhé."
    }
  ],
  "validated": true
}