AI-Hub

○ 임무 정의
  - 특허, 기업·재무, 가치평가 파라미터를 입력으로 받아 기술가치평가 결과와 그 판단 근거를 단계별 추론(CoT) 형태로 생성

○ 임무 선정 사유
  - CoT(Chain-of-Thought) 기반 질의응답 방식의 대표적인 초거대 언어모델 학습 방식으로, 기술가치평가 판단 논리를 포함한 텍스트 기반 CoT-Fabric 데이터를 활용하여 학습모델을 구축함.
  - 구축한 CoT-Fabric 기반 기술가치평가 데이터(JSON)를 LLM 기반 질의응답 모델에 적용하여 학습하고, 특허·기업·가치평가 정보를 입력으로 기술가치평가 결과와 단계별 추론 과정이 올바르게 생성되는지를 확인함으로써 구축 데이터의 학습 유효성을 검증함.

○ 학습 모델 개발 환경
 - 학습 환경: Ubuntu, Python, Transformers, GPU
 - 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
 - 모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
 - 성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정

○ 최종 선정 모델
 □ google/gemma-3-1b-it
  - 텍스트와 이미지를 동시에 입력받아 처리할 수 있는 멀티모달(Multimodal) 아키텍처를 적용한 10억 파라미터 규모의 모델
  - Google의 Gemma Terms of Use를 따르는 오픈 가중치 모델로서, 사용자의 지시를 따르도록 미세 조정(Instruction Tuned)된 다국어 모델로서 한국어 처리를 위해 적합한 모델
  - Hugging Face 사이트로부터 다운로드 가능

○ 학습 데이터 생성
  - 학습 데이터 전처리
    * 특허 기본정보, 회사/산업 정보, 요약문, 가치평가 관련 파라미터 등의 컨텍스트 추출

    * 특허의 가치 평가를 위한 예제, 목표 프롬프트 추가

  - 학습 데이터 포맷 변경 및 분할 (8:1:1로 분할)
    * train - 프롬프트, 답변 (카테고리 별 80%)
    * val - 프롬프트, 답변 (카테고리 별 10%)    

    * test - 프롬프트, 답변 (카테고리 별 10%)

[ 학습데이터 생성 예시 ]

○ 학습 알고리즘
  - LoRA(Low-Rank Adaptation) 파인튜닝 적용
  - LoRA는 모델 전체를 업데이트하지 않고, 일부 파라미터에 대해 저차원 행렬을 추가적으로 학습시켜 빠르고 효율적인 파인튜닝 수행
  - 기존 모델의 원래 가중치는 고정되고, 저차원 행렬만 학습하여 학습할 파라미터 수가 줄어들어 효율적인 학습이 가능
  - 기존의 전체 모델 파라미터를 업데이트하는 방식보다 메모리와 계산 비용이 크게 감소

[ LoRA(Low-Rank Adaptation) 파인튜닝 ]

(출처 : https://huggingface.co/docs/peft/main/conceptual_guides/lora)

○ AI 모델 성능

○ 라벨링데이터 포맷 및 구성 

○ 라벨링데이터 규칙

○ json 예시

{
  "patent_info": {
    "open_year": "2022",
    "open_date": "20220222",
    "open_number": "2022-0021626",
    "application_year": "2020",
    "application_date": "20200814",
    "application_number": "2020-0102410",
    "register_year": "2023",
    "register_date": "20230403",
    "register_number": "2518859",
    "invention_title": "인공지능 기반 고객 불만 관리 방법 및 장치",
    "abstract": "본 명세서는 고객 불만 관리 방법 및 장치에 관한 것이다. 본 명세서의 일 실시예에 따른 고객 불만 관리 방법은, 고객과의 상담 내용이 포함된 음성 상담 데이터를 수신하는 단계, 수신한 음성 상담 데이터로부터 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 추출하는 단계, 추출된 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 고객 불만 텍스트 데이터 및 고객 응대 텍스트 데이터를 포함하는 텍스트 상담 데이터로 전환하는 단계, 상기 고객 불만 텍스트 데이터로부터 불만 등급을 산정하고 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터로부터 상담 유형을 결정하는 단계 및 불만 등급, 상담 유형 및 텍스트 상담 데이터에 기초하여 불만 확률 테이블을 생성하는 단계를 포함한다.",
    "ipc_section": "G",
    "ipc_class": "G06",
    "ipc_subclass": "G06Q",
    "ipc_main": "G06Q-030/02",
    "ipc_all": "G06Q-030/02",
    "applicant_name": "OOOO",
    "B_claims": [
      "고객과의 상담 내용이 포함된 음성 상담 데이터를 수신하는 단계;상기 수신한 음성 상담 데이터로부터 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 추출하는 단계; 상기 추출된 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 고객 불만 텍스트 데이터 및 고객 응대 텍스트 데이터를 포함하는 텍스트 상담 데이터로 전환하는 단계;상기 고객 불만 텍스트 데이터로부터 불만 등급을 산정하고 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터로부터 상담 유형을 결정하는 단계 및상기 불만 등급, 상기 상담 유형 및 상기 텍스트 상담 데이터에 기초한 불만 확률 테이블을 생성하는 단계를 포함하는 고객 불만 관리 방법.",
      "제1항에 있어서,상기 불만 확률 테이블 내의 상기 텍스트 상담 데이터를 대상으로 통계 대상 질문을 입력 받는 단계;상기 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하는 단계 및상기 도출된 최종 응답 및 상기 응답에 대한 통계 결과 정보를 부서별 사용자 단말로 제공하는 단계를 더 포함하는 고객 불만 관리 방법",
      "제2항에 있어서,상기 통계 결과 정보는 상기 텍스트 상담 데이터 전체 또는 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터 각각에 대한 통계 결과 정보인 고객 불만 관리 방법.",
      "제2항에 있어서,상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하기 전 상기 통계 대상 질문과 유사도가 높은 텍스트 상담 데이터를 추출하여 선 분류하는 단계를 더 포함하고,상기 텍스트 상담 데이터에 기초하여 통계 대상 질문에 대한 응답 및 최종 응답을 도출하는 단계는,상기 선 분류된 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하는 것인 고객 불만 관리 방법.",
      "제2항에 있어서,상기 불만 확률 테이블 내의 상기 텍스트 상담 데이터를 대상으로 통계 대상 질문을 입력 받는 단계는,상기 텍스트 상담 데이터에 대한 검색 조건 설정과 함께 상기 통계 대상 질문을 입력 받는 단계를 더 포함하는 고객 불만 관리 방법.",
      "제1항에 있어서,상기 전환된 텍스트 상담 데이터를 이용하여 데이터 전처리를 수행하는 단계를 더 포함하는 고객 불만 관리 방법.",
      "고객과의 상담 내용이 포함된 음성 상담 데이터를 수신하는 데이터 수신부;상기 수신한 음성 상담 데이터로부터 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 추출하는 데이터 추출부;상기 추출된 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 고객 불만 텍스트 데이터 및 고객 응대 텍스트 데이터를 포함하는 텍스트 상담 데이터로 전환하는 데이터 전환부;상기 고객 불만 데이터로부터 불만 등급을 산정하고 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터로부터 상담 유형을 결정하는 데이터 분류부 및상기 불만 등급, 상기 상담 유형 및 상기 텍스트 상담 데이터에 기초한 불만 확률 테이블을 생성하는 테이블 생성부를 포함하는 고객 불만 관리 장치.",
      "제7항에 있어서,상기 불만 확률 테이블 내의 상기 텍스트 상담 데이터를 대상으로 통계 대상 질문을 입력 받고, 상기 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하여 상기 도출된 최종 응답 및 상기 응답에 대한 통계 결과 정보를 부서별 사용자 단말로 제공하는 데이터 통계부를 포함하는 고객 불만 관리 장치.",
      "제8항에 있어서,상기 통계 결과 정보는,상기 텍스트 상담 데이터 전체 또는 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터 각각에 대한 통계 결과 정보인 고객 불만 관리 장치.",
      "제8항에 있어서,상기 데이터 통계부는,상기 통계 대상 질문에 대한 응답을 도출하기 전 상기 텍스트 상담 데이터 중 상기 통계 대상 질문과 유사도가 높은 텍스트 상담 데이터를 추출하여 선분류하고, 상기 선 분류된 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답을 도출하는 고객 불만 관리 장치.",
      "제8항에 있어서,상기 데이터 통계부는,상기 텍스트 상담 데이터에 대한 검색 조건 설정과 함께 상기 통계 대상 질문을 입력 받는 고객 불만 관리 장치.",
      "제7항에 있어서,상기 전환된 텍스트 상담 데이터를 이용하여 데이터 전처리를 수행하는 사전학습부를 더 포함하는 고객 불만 관리 장치."
    ],
    "A_claims": [
      "데이터 수신부가 고객과의 상담 내용이 포함된 음성 상담 데이터를 수신하는 단계;데이터 추출부가 상기 수신한 음성 상담 데이터로부터 고객의 발화에 대한 데이터인 고객 불만 음성 데이터 및 상담원의 발화에 대한 데이터인 고객 응대 음성 데이터를 추출하는 단계; 데이터 전환부가 상기 추출된 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 고객 불만 텍스트 데이터 및 고객 응대 텍스트 데이터를 포함하는 텍스트 상담 데이터로 전환하는 단계;데이터 분류부가 상기 고객 불만 텍스트 데이터로부터 불만 등급을 산정하고 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터로부터 상담 유형을 결정하는 단계; 및테이블 생성부가 상기 불만 등급, 상기 상담 유형 및 상기 텍스트 상담 데이터에 기초한 불만 확률 테이블을 생성하는 단계를 포함하고,상기 불만 확률 테이블은 세로축이 불만 등급 또는 불만 등급에 따른 불만 확률로 설정되고 가로축이 상담 유형으로 설정된 오차 행렬(Confusion matrix)이고,데이터 통계부가 상기 불만 확률 테이블 내의 상기 텍스트 상담 데이터를 대상으로 통계 대상 질문을 입력 받는 단계;상기 데이터 통계부가 상기 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하는 단계; 및상기 데이터 통계부가 상기 도출된 최종 응답 및 상기 응답에 대한 통계 결과 정보를 부서별 사용자 단말로 제공하는 단계를 더 포함하고,상기 최종 응답은 상기 통계 대상 질문에 대한 각각의 텍스트 상담 데이터의 응답 중 가장 높은 빈도를 갖는 응답인고객 불만 관리 방법.",
      "제1항에 있어서,상기 통계 결과 정보는 상기 텍스트 상담 데이터 전체 또는 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터 각각에 대한 통계 결과 정보인 고객 불만 관리 방법.",
      "제1항에 있어서,상기 데이터 통계부가 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하기 전 텍스트 상담 데이터를 예상 통계 대상 질문과 비교하여 유사도 값을 산출하고, 상기 유사도 값이 미리 설정된 기준 유사도 값을 초과하는 텍스트 상담 데이터를 추출하여 선 분류하는 단계를 더 포함하고,상기 데이터 통계부가 상기 텍스트 상담 데이터에 기초하여 통계 대상 질문에 대한 응답 및 최종 응답을 도출하는 단계는,상기 데이터 통계부가 선 분류된 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하는 것인 고객 불만 관리 방법.",
      "제1항에 있어서,상기 데이터 통계부가 상기 불만 확률 테이블 내의 상기 텍스트 상담 데이터를 대상으로 통계 대상 질문을 입력 받는 단계는,상기 데이터 통계부가 상기 텍스트 상담 데이터에 대한 검색 조건 설정과 함께 상기 통계 대상 질문을 입력 받는 단계를 더 포함하는 고객 불만 관리 방법.",
      "제1항에 있어서,사전학습부가 상기 텍스트 상담 데이터를 이용하여 사전 학습을 수행하는 단계를 더 포함하는 고객 불만 관리 방법.",
      "고객과의 상담 내용이 포함된 음성 상담 데이터를 수신하는 데이터 수신부;상기 수신한 음성 상담 데이터로부터 고객의 발화에 대한 데이터인 고객 불만 음성 데이터 및 상담원의 발화에 대한 데이터인 고객 응대 음성 데이터를 추출하는 데이터 추출부;상기 추출된 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 고객 불만 텍스트 데이터 및 고객 응대 텍스트 데이터를 포함하는 텍스트 상담 데이터로 전환하는 데이터 전환부;상기 고객 불만 데이터로부터 불만 등급을 산정하고 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터로부터 상담 유형을 결정하는 데이터 분류부;상기 불만 등급, 상기 상담 유형 및 상기 텍스트 상담 데이터에 기초한 불만 확률 테이블을 생성하는 테이블 생성부; 및상기 불만 확률 테이블 내의 상기 텍스트 상담 데이터를 대상으로 통계 대상 질문을 입력 받고, 상기 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답 및 최종 응답을 도출하여 상기 도출된 최종 응답 및 상기 응답에 대한 통계 결과 정보를 부서별 사용자 단말로 제공하는 데이터 통계부를 포함하고,상기 불만 확률 테이블은 세로축이 불만 등급 또는 불만 등급에 따른 불만 확률로 설정되고 가로축이 상담 유형으로 설정된 오차 행렬(Confusion matrix)이고,상기 최종 응답은 상기 통계 대상 질문에 대한 각각의 텍스트 상담 데이터의 응답 중 가장 높은 빈도를 갖는 응답인고객 불만 관리 장치.",
      "제7항에 있어서,상기 통계 결과 정보는,상기 텍스트 상담 데이터 전체 또는 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터 각각에 대한 통계 결과 정보인 고객 불만 관리 장치.",
      "제7항에 있어서,상기 데이터 통계부는,상기 통계 대상 질문에 대한 응답을 도출하기 전 텍스트 상담 데이터를 예상 통계 대상 질문과 비교하여 유사도 값을 산출하고, 상기 유사도 값이 미리 설정된 기준 유사도 값을 초과하는 텍스트 상담 데이터를 추출하여 선 분류하고, 선 분류된 텍스트 상담 데이터에 기초하여 상기 통계 대상 질문에 대한 응답을 도출하는 고객 불만 관리 장치.",
      "제7항에 있어서,상기 데이터 통계부는,상기 텍스트 상담 데이터에 대한 검색 조건 설정과 함께 상기 통계 대상 질문을 입력 받는 고객 불만 관리 장치.",
      "제7항에 있어서,상기 텍스트 상담 데이터를 이용하여 사전 학습을 수행하는 사전학습부를 더 포함하는 고객 불만 관리 장치."
    ],
    "documentId": "kr20200102410b1",
    "classdata": "인공지능",
    "patent_sentence_count": 42
  },
  "Company_info": {
    "company_name": "OOOO",
    "industry": "은행 및 저축기관",
    "ksic": "K641",
    "sales": 71761095699.999,
    "equity": 1.0,
    "leverage": 0.0,
    "cost_of_goods_sold": 2888835257349.998,
    "net_income": 242881858199.999,
    "asset": 43019260299999.99,
    "net_asset_value": 4732274565299.998,
    "liabilities": 37334696099999.99
  },
  "valuation_id": {
    "patent_info": "kr20200102410b1",
    "royalty_rate": 5.382,
    "useful_life_years": 7.332,
    "wacc": 12.313,
    "business_risk": 3.299
  },
  "instruction_id": {
    "patent_no": "KR10-2518859",
    "ipc": "G06Q-030/02",
    "title_ko": "인공지능 기반 고객 불만 관리 방법 및 장치",
    "abstract_ko": "본 명세서는 고객 불만 관리 방법 및 장치에 관한 것이다. 본 명세서의 일 실시예에 따른 고객 불만 관리 방법은, 고객과의 상담 내용이 포함된 음성 상담 데이터를 수신하는 단계, 수신한 음성 상담 데이터로부터 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 추출하는 단계, 추출된 고객 불만 음성 데이터 및 고객 응대 음성 데이터를 고객 불만 텍스트 데이터 및 고객 응대 텍스트 데이터를 포함하는 텍스트 상담 데이터로 전환하는 단계, 상기 고객 불만 텍스트 데이터로부터 불만 등급을 산정하고 상기 고객 불만 텍스트 데이터 및 상기 고객 응대 텍스트 데이터로부터 상담 유형을 결정하는 단계 및 불만 등급, 상담 유형 및 텍스트 상담 데이터에 기초하여 불만 확률 테이블을 생성하는 단계를 포함한다.",
    "keywords": [
      "인공지능",
      "음성 상담 데이터",
      "불만 등급"
    ],
    "total_revenue": 71761095699.999,
    "royalty_rate": 5.382,
    "useful_life_years": 7.332,
    "wacc": 12.313,
    "business_risk": 3.299,
    "input": "OOOO의 '인공지능 기반 고객 불만 관리 방법 및 장치' (출원번호 2020-0102410, 은행 및 저축기관 산업 분야)의 특허 가치 평가를 기준 매출 717.6억원, 연 성장률 4.5%, 비교 로열티율 5.9%, 4.81%, 5.53%, 법인세율 24%, WACC 12.3%, IP 기여도 1.91, 경제적 수명 7년, 사업 준비기간 4년을 반영하여 '로열티 공제법'으로 단계별 계산 과정과 함께 상세히 평가해 주시길 요청합니다.",
    "output": [
      "① 시장 매출 투영 – OOO는 2020년에 출원한 인공지능 기반 고객 불만 관리 방법 및 장치를 바탕으로 은행 및 저축기관 산업에서 사업을 준비해왔다. 출원 이후 4년간은 사업화 준비 기간으로 매출이 발생하지 않았으며, 2024년부터 본격적인 사업화가 시작된다. 기준 매출은 717.6억원이며, 연평균 성장률 4.5%를 적용하여 2027년에는 매출이 818.9억원, 2030년에는 934.5억원에 이를 것으로 예상된다. 이와 같은 매출 성장 전망과 출원인을 고려했을 때 IP 기여도 1.91를 반영하는 것이 적정하다고 판단된다.",
      "② 로열티 베이스 결정 – 비교 대상 로열티율로는 5.9%, 4.81%, 5.53%가 제시되었으며, 이들은 모두 은행 및 저축기관 분야에서 산출된 수치이다. 이들 각각의 로열티율은 개별 사례별 차이가 있으나, 객관적이고 균형 잡힌 평가를 위해 산술평균인 5.41%를 사용하는 것이 합리적이다. 평균값을 적용함으로써 특정 사례에 편중되지 않고 전체 시장 상황을 반영하는 로열티 베이스를 확립할 수 있다.",
      "③ 로열티율 결정 – 비교 로열티율 평균 5.41%는 법인세율 24%를 고려하여 세후 로열티율로 조정할 필요가 있다. 법인세는 로열티 수익에 직접적인 영향을 미치므로, 세전 로열티율을 그대로 적용하면 실제 현금흐름을 과대평가할 위험이 크다. 이에 따라 세후 로열티율은 4.11%로 산출되어, 평가 시 실제 수익 창출 가능성을 보다 정확히 반영한다.",
      "④ 세후 조정 – 기준 매출 717.6억원에 세후 로열티율 4.11%를 적용하면 로열티 수익의 기본 틀이 마련된다. 여기에 IP 기여도 1.91를 곱하여 특허의 기여 정도를 반영함으로써, 실제 특허가 창출하는 경제적 가치가 구체적으로 산출된다. 이 세 요소가 결합되어 현금흐름 계산의 근간을 이루며, 사업화 과정에서 발생할 수익의 실질적 규모를 예측하는 데 중요한 역할을 한다.",
      "⑤ 현금흐름 계산 – 연도별 현금흐름은 매출에 IP 기여도 1.91과 세후 로열티율 4.11%를 곱하는 공식으로 산출된다. 즉, 매출 × IP 기여도 1.91 × 세후 로열티율 4.11%가 현금흐름의 기본 산정식이다. 준비기간 4년 동안은 사업화가 이루어지지 않아 현금흐름이 발생하지 않으며, 2024년부터 경제적 수명 7년 동안 이 공식에 따라 현금흐름이 발생한다. 이를 통해 연도별 현금유입 규모를 구체적으로 예측할 수 있다.",
      "⑥ 할인(NPV) – 할인율로는 가중평균자본비용(WACC) 12.3%가 적용되어 미래 현금흐름을 현재가치로 환산한다. 4년간의 준비기간을 반영하여 사업화 시점부터 발생하는 현금흐름을 할인하는 과정에서 NPV는 1.79억원으로 산출되었다. 이 값은 백만원 단위로 절사된 수치이며, 이를 통해 특허의 경제적 가치를 현재 시점에서 명확히 평가할 수 있다.",
      "⑦ 결론 – OOO의 출원번호 2020-0102410, 인공지능 기반 고객 불만 관리 방법 및 장치는 은행 및 저축기관 분야에서 기준 매출 717.6억원과 성장률 4.5%를 바탕으로 사업화가 이루어지고 있다. 비교 로열티율과 세후 조정, IP 기여도 1.91를 반영한 결과, NPV는 1.79억원으로 산출되었다. 이와 같은 종합적인 평가 과정을 통해 해당 특허는 경제적 가치가 충분히 있다고 평가된다."
    ],
    "answer": 179000000
  }
}