AI-Hub

○ 임무 정의
  - EU 개인정보 규정 질의에 대한 응답, 벤치마크 질의에 대한 답변 정확도

○ 임무 선정 사유
  - QA 데이터를 활용해 EU 개인정보 질의응답 Task에 대한 finetuning을 진행, 모델이 개인정보 핵심항목, 관련 법령 등을 포함해 환각 없이 정확한 답변을 선정하여 사용자에게 제공 가능 여부 확인
  - 벤치마크 데이터를 통해 실제 모델의 성능을 테스트하고, 모델 간 점수 비교를 통해 벤치마크 데이터의 유효성을 검증

○ 학습 모델 개발 환경
  - 학습 환경:
    · Linux (Ubuntu 22.04 LTS) 기반 Docker 구동환경에서 학습·검증 수행
    · Python 3.11, PyTorch 2.6 이상, CUDA 12.4 기준으로 실행 환경 표준화
    · 컨테이너 이미지에서 학습/평가를 수행하여 재현성 및 이식성 확보
  - 모델리소스 및 자원 활용:
    · 고성능 GPU 서버를 활용하여 EU 개인정보 규정 QA 파인튜닝 및 벤치마크 검증 수행
    · 실험 로그, 체크포인트, 성능 산출물을 버전별로 관리하여 비교·추적 가능하도록 운영
  - 모델 개발:
    · 1-Cycle 자가 점검 계획(데이터 점검 → 학습 → 검증 → 오류분석/보완)에 따라 반복 개선
    · 근거 누락, 조항 오해, 예외조건 누락, 문맥 불일치 등 주요 오류 유형 중심으로 품질 보완
  - 최종 선정 기준:
    · 질의응답 성능(Rouge-L)과 벤치마크 정답률(Accuracy)을 종합 평가
    · 동일 평가셋에서 비교군 모델 대비 성능 우위를 최종 선정 기준으로 적용

○ 최종 선정 모델
(1) BHSN Athena
BHSN은 법률·컴플라이언스 영역에 특화된 LLM을 자체 고도화(CPT, 도메인 특화 얼라인먼트 등)해 온 기업으로, 법령/규정 텍스트의 구조적 이해와 실무 문맥 기반 응답에 강점을 갖는 비교군으로 적합함. 특히 법률 데이터(법령·판례·정책 등) 기반의 지속적 사전학습과 전문가 피드백 기반 학습을 통해 범용 모델 대비 도메인 정합성과 답변 정확도를 높였다는 점에서, EU 규정 QA/벤치마크 데이터의 목적(규정 이해·준수 판단)과의 적합성이 높음.

(2) GPT-4
GPT-4는 다양한 전문·학술 벤치마크에서 높은 성능이 검증된 대표적인 범용 상용 모델로, 규제 도메인에서도 “글로벌 기준선(Reference)” 역할을 수행할 수 있어 비교 모델로 선정함. 즉, 국내 특화/경량 모델과의 성능 차이를 해석할 때 기준점을 제공하며, 규정 문맥 이해·추론·응답 품질 측면에서 안정적인 비교가 가능함.

(3) Exaone Deep 7.8B
EXAONE Deep 시리즈는 EXAONE 3.5을 기반으로 추론 능력을 증폭시킨  국내 LLM으로, 동일 스케일의 해외 모델 포함한 여타 공개 추론 모델보다 수학·과학·코딩·일반상식 벤치마크에서 우수한 성능을 보여  비교군으로 적합함

○ 학습 데이터 생성
  - 데이터 설명:
    · GDPR 발효 시점(2016년)부터 2025년 최신 문서까지 EU 개인정보 규정 관련 문서를 수집 대상으로 설정
    · EUR-Lex, EDPB, ENISA 등 공식 저장소 중심으로 확보하고 라이선스/저작권 이슈를 사전 확인
  - 데이터 전처리 및 정제:
    · 원문 추출(PDF/HTML) → 중복 제거(CELEX Number/URL 기준) → 번역/문체 정비 → 필수 필드 보완 순으로 수행
    · 비식별화 태그(, , , ,

○ 원천데이터 포맷

○ QA데이터 포맷

○ 벤치마크데이터 포맷

○ json 예시

{
  "data": [
    {
      "index": "EN-0156_QA_015",
      "turn_id": null,
      "category": "준수여부",
      "instruction": "너는 EU 개인정보보호 관련 질문에 대해서 실제 상황(context)을 고려하여 적절한 답변을 해야 해. 아래 질문과 상황을 보고 상황에 적절한 답변을 핵심항목, 조항, 설명을 포함하여 해줘.",
      "case_context": "한국에 본사를 둔 메신저 앱 운영사가 EU 이용자에게도 서비스를 제공합니다. EU 회원국 법원으로부터 모든 이용자의 메시지와 첨부파일을 무기한 필터링하여 불법 콘텐츠를 탐지하라는 명령을 받았습니다. 회사는 이 명령을 그대로 수용해 전면적 필터링 시스템을 도입해도 되는지 확인이 필요합니다.",
      "prompt": "EU 회원국 법원이 우리 서비스의 모든 이용자 메시지와 파일을 무기한 필터링해 불법 콘텐츠를 탐지하라고 명령했습니다. 이런 '일반적 모니터링' 의무를 수용하는 것이 EU 규칙상 허용됩니까?",
      "key_concept": "개인정보 이용·처리",
      "metadata": {
        "article": "COMMISSION STAFF WORKING DOCUMENT IMPACT ASSESSMENT REPORT Accompanying the document Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL laying down rules to prevent and combat child sexual abuse",
        "chunk_path": [
          "5. What are the available policy options?",
          "5.2 Description of the policy options",
          "1. Introduction: political and legal context"
        ],
        "law_context": null,
        "reference": [
          "일반적인 모니터링 의무 부과 금지의 정확한 의미와 범위는 점진적으로 명확해지고 있다.",
          "개별 사정에 따라 해당 상황에서 금지 규정이 준수되었는지 또는 위반되었는지 판단하여야 한다.",
          "예를 들어, 심급은 지적재산권 침해 방지의 맥락에서, 다음의 조건을 모두 충족하는 의무를 부과하는 것은 허용되지 않는다고 판시하였다{{f(157)Case C-18/18 – Facebook Ireland.}}:",
          "따라서 고려될 수 있는 모든 정책 옵션은 기본권에 대한 개입을 엄격히 필요한 범위로 제한하고, 비례성 및 일반적 감시 의무 금지 준수를 보장하기 위하여 여러 구체적 요건을 충족하여야 한다."
        ],
        "description": "이 문항은 개인정보 이용·처리에 대한 것이며, 온라인 중개 서비스에 대하여 일반적인 모니터링 의무를 부과하는 것을 금지하고, 법원의 명령이나 정책 조치도 비례성과 기본권 균형을 충족해야 함을 핵심 규정으로 전달하고 있습니다."
      },
      "answer": "허용되지 않습니다. 중개 용역 제공자에게 전송·저장 정보를 감시하거나 불법 행위를 시사하는 사실이나 상황을 적극적으로 탐색하도록 하는 일반적인 모니터링 의무를 부과하는 것은 금지되며, 법원 명령으로도 이러한 일반적·예방적·무기한의 광범위 필터링 의무를 부과하는 것은 허용되지 않습니다. 또한 관련 조치는 기본권에 대한 개입을 엄격히 필요한 범위로 제한하고, 비례성과 일반적 감시 의무 금지를 준수하도록 설계되어야 합니다."
    }
  ]
}