AI-Hub

데이터 변경이력

데이터 히스토리

소개

규제 체계, 체크리스트, 검사 보고서 등 다양한 상황 내 규정 데이터 구축

구축목적

규제 체계, 체크리스트, 검사 보고서 등 다양한 상황 내 규정 데이터를 구축하여 규정 문서를 자동 생성하고, 분류하기 위함

1. 데이터 통계

2. 데이터 분포

- 라벨링 데이터 T1 (질의응답) 산업군별 분포

- 라벨링 데이터 T2 (텍스트 분류) 산업군별 분포

- 민간 분야 데이터 분포 : 5,025건 (2.45%)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 활용 모델 : Llama 3 70B base
 사전 학습 데이터 : 15조 토큰의 사전 데이터가 학습된 초거대 AI 모델
 모델 설명 : 지시 미세 조정(Instruction fine-tuning)에 의해서 다양한 특화 task에 더욱 효과적인 성능을 보이는 모델. task별 지시 데이터셋으로 모델의 생성 문장을 수행해야하는 task에 적합하도록 학습

2. 실험 환경
   1) 데이터셋 구성

    2) 학습 방법
      (1) 질문(서술형, 객관식)과 답변, 문장과 주제어 쌍으로 구성
      (2) 질문이나 문장에 대하여 답변과 주제어를 각각 생성하도록 모델학습 (각각 독립적인 3개의 모델)

   3) 성능평가지표 : BERTScore (서술형 질의응답), ACC (객관식 질의응답), F1-점수 (텍스트 분류)

   4) 성능 평가 결과
      BERTScore: 0.846 (보조, RougeL: 0.22), ACC: 0.829, F1-점수: 0.843

   5) 목표 대비 성능
     (1) 서술형 질의응답 목표 성능 (BERTScore) 0.70 [cf. ROUGE :0.19]
         서술형 질의응답 모델 성능 (BERTScore) 0.846 (+0.14), (ROUGE) 0.22
     (2) 객관식 질의응답 목표 성능 (ACC) 0.40
         객관식 질의응답 모델 성능 (ACC) 0.829 (+0.43)
     (3) 텍스트 분류 목표 성능 (F1-점수) 0.83
         텍스트 분류 모델 성능 (F1-점수) 0.843 (+0.01)

설명서 및 활용가이드 다운로드

1. 데이터 구성

2. 어노테이션 포맷
 - Task1 질의응답

 - Task2 텍스트 분류

 - 메타 데이터

3. 데이터 포맷

1) 원천 데이터 : *.json

{
    "info" : [
        {
            "document_id" : 179
        }
    ],
    "annotation" : [
        {
            "contents_title" : "제2장 인권경영 일반법칙",
            "contents" : [
                {
                    "sentece_id" : 2001
                    "sentence_title" : "제3조 (고용상의 비차별)",
                    "sentence_text" : "공사는 근로자를 고용함에 있어서 인종, 종교, 장애, 성별, 출생지, 정치적 견해 등을 이유로 차별해서는 안 된다."
                }
            ]
        }
    ]
}

2) 라벨링 데이터 : *.json
 - Task1 질의응답

{
    "info" : [
        {
            "document_id" : 179
        }
    ],
    "annotation" : [
        {
            "contents_title" : "제2장 인권경영 일반법칙",
            "QnA" : [
                {
                    "question_id" : 17
                    "question_format" : "객관식",
                    "role" : "고용 및 노동환경",
                    "question_type" : "수치형",
                    "instruction" : "연소자 고용시 고용하지 못하는 나이는 몇 세 이하인가?",
                    "input" : "(1) 15세 이하 (2) 16세 이하 (3) 17세 이하 (4) 18세 이하",
                    "output" : "(1) 15세 이하"
                }
            ]
        }
    ]
}

 - Task2 텍스트 분류

{
  "info": [
    {
      "document_id": 179
    }
  ],
  "annotaiton": [
    {
      "contents_title": "제2장 인권경영 일반원칙“
      "contents": [
        {
          "sentence_id": 2001,
          "sentence_text": "공사는 인종, 종교, 장애, 성별, 출생지, 정치적 견해 등을 이유로 차별해서는 안 된다.",
          "sentence_class": "고용상의 비차별"
        }
      ]
    }
  ]
}

3) 메타 데이터 : *.json

{
  "info": [
    {
      "document_id": 179,
      "organization_name" : "부산항만공사",
      "organization_type": "공공기관",
      "document_name": "부산항만공사 인권경영 이행지침(2023년 1월 개정)",
      "document_type": "지침",
      "document_class": "유통 및 서비스 산업",
      "publish_year": "2023년",
      "enactment_date" : "",
      "revision_date" : "2023년 1월 9일",
      "global_rule" : [],
      "contents_title": "제 2 장 인권경영 일반원칙",
      "contents_text" : "**제 3 조 (고용상의 비차별)** 공사는 근로자를 고용함에 있어서 인종, 종교, 장애, 성별, 출생지, 정치적 견해 등을 이유로 ...
            **제 12 조 (이해관계자와의 소통)** ① 공사는 다양한 이해관계자에게 공사의 인권경영정책을 알리고  상호협력을 위해 적극적으로 소통해야 한다.
            ② 공사는 인권경영 이행현황을 홈페이지 또는 온라인상에 게시할 수 있다.”
        }
    ]
}

데이터셋 구축 담당자

수행기관(주관) : ㈜스위트케이

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처