AI-Hub

Qwen3-VL-30B-A3B-Instruct

○ 임무 정의
  - 특허도면 이미지와 명세 정보를 입력으로 받아 도면의 구성요소, 구조적 관계, 기능적 의미를 단계적 사고(CoT) 방식으로 추론하고 자연어로 설명하는 멀티모달 AI 모델 활용
  - 도면 기반 추론 결과를 통해 특허 명세 정보 생성, 도면 설명 자동화, 질의응답 수행
 
○ 임무 선정 사유
  - 특허도면은 발명의 핵심 구조와 작동 원리를 시각적으로 표현하고 있어 단순 이미지 인식이 아닌 논리적 추론이 요구됨
  - Qwen3-VL-30B-A3B-Instruct는 이미지와 텍스트를 동시에 처리하는 멀티모달 대규모 언어모델로, 도면 이해와 단계적 사고(CoT) 기반 추론 임무에 적합함
  - 본 데이터셋은 도면 요소 식별부터 구조·기능 해석까지의 사고 과정을 포함하고 있어 해당 모델의 추론 능력 검증에 활용 가능함

○ 학습 모델 개발 환경
  - 학습 환경
  - 개발 언어: Python
  - 추론 프레임워크: PyTorch 기반 멀티모달 추론 환경
  - 연산 자원: GPU 서버 활용
  - 모델 활용 방식: 사전학습된 멀티모달 모델에 특허도면 추론 데이터 적용
  - 학습 구조: 단계적 사고(CoT) 추론 문장을 포함한 지도학습 및 추론 성능 평가

○ 최종 선정 모델
  - Qwen3-VL-30B-A3B-Instruct는 이미지 인코더와 대규모 언어모델을 결합한 멀티모달 추론 모델임
  - 도면 이미지 입력을 기반으로 시각적 특징을 추출하고, 텍스트 질의와 결합하여 단계별 사고 과정을 생성할 수 있는 구조를 가짐

○ 학습 데이터 생성
  - 대표 특허도면 이미지와 명세 정보를 기반으로 단계적 사고(CoT) 추론 문장을 생성하여 학습데이터로 활용
  - 각 데이터는 도면 이미지, 질의 문장, 단계별 추론 과정, 최종 응답을 포함하는 JSON 형식으로 구성됨

1. 어노테이션 포맷

2. 어노테이션 예시

{
"raw_data_info": {
    "raw_data_filename": "PG__01_250701_0001.pdf",
    "IPC_code": "G",
    "patent_id": "10-2023-0034267",
    "patent_name": "디스플레이와 광 센서를 이용하여 지문을 획득하는 방법 및 그 전자 장치”",
    "patent_date": "2025-07-01"
  },
"source_data_info": {
    "source_data_filename": "PG_01_250701_0001.png",
    "source_data_type": "블록도",
    "image_width": 800,
    "image_height": 1000,
    "image_dpi": 300,
  },
"learning_data_info": {
    "labeling_data": {
        "parts_name": "110 댐핑 하우징", “200 링 기어”
        "summary_description" : "도 2는 본 발명에 따른 LIB 팩 시스템의 세부적인 구성을 개념적으로 도시한 예시도“
  },
    "CoT" : {
        "instruction": "해당 특허 문서의 도면 유형을 바탕으로 발명의 핵심 구성과 기술적 특징을 설명해줘",
        "reasoning": {
            "elements_CoT": "전자 장치(1100)는 전체 시스템을 나타내는 포괄적 구성 요소이며, 다양한 형태로 구현될 수 있다. 윈도우(1110)은 전면 커버로, 디스플레이를 보호하며 빛의 투과를 허용하는 투명 커버 구조로 해석된다. 디스플레이(1120)는 사용자에게 시각 정보를 제공하며, 지문 인식 기능을 위해 특정 영역이 발광 영역으로 동작할 수 있다. 구조체(1130)는 윈도우와 디스플레이 사이에 위치하며, 빛의 직진성을 유도하기 위한 구성 요소들로 이루어진다. 포토 다이오드(1140)는 디스플레이 하단에 배치되며, 광 정보를 감지하여 지문 인식에 활용된다. 레지스터(1150)는 포토 다이오드에서 수신한 광 정보를 저장하며, 메모리(예: 도 1의 메모리(130))로 기능할 수 있다. 컨트롤러(1160)는 지문 인식 기능을 통제하는 중심 제어 유닛으로, UI 이벤트 감지 및 모드 전환, 센서 제어, 이미지 생성 및 비교를 수행한다. 발광 영역(예: 331)은 디스플레이 상에서 지문 인식을 위한 광원을 포함하는 부분이다. SLM, 액체 렌즈, 렌즈 층 등: 구조체 내부에 포함되어 PSF 크기를 제어함으로써 빛의 직진성을 조절하는 광학 구성 요소들이다.",
            "structure_CoT": "전자 장치(1100)의 구조는 다음과 같은 계층적 관계 및 상호 배치를 기반으로 한다. 상부에서 하부로: 윈도우(1110) → 구조체(1130) → 디스플레이(1120) → 포토 다이오드(1140)의 순으로 구성되어 있다. 이는 빛이 외부에서 내부로 투과될 때 필요한 경로를 나타낸다.구조체(1130)는 디스플레이 위에 직접 접촉하지 않고, 윈도우와 디스플레이 사이에 존재하며, 발광 영역에서의 빛이 포토 다이오드 방향으로 직진하도록 유도한다. 디스플레이(1120)는 발광 소자를 포함하고 있으며, 포토 다이오드(1140)와 상호작용하도록 하단에 배치되어 있다. 포토 다이오드(1140)는 광 정보를 수집하고 이를 레지스터(1150)로 전송하며, 레지스터(1150)는 이를 저장하여 컨트롤러(1160)로 전달한다. 컨트롤러(1160)는 이 모든 구성 요소들의 동작을 중앙에서 제어하며, 운영 모드 전환, 발광 제어, 이미지 생성 및 사용자 인증까지 전반적인 흐름을 조율한다. 특히, 구조체(1130)의 정렬 상태에 따라 디스플레이 픽셀 그룹이 다르게 활성화되며, 광학 제어가 구조적으로 정렬 기반의 기능 수행에 영향을 준다.",
            "function_CoT": "각 구성 요소는 전자 장치의 지문 인식 기능을 중심으로 한 사용자 인증을 위해 다음과 같은 기능을 수행한다. 윈도우(1110)는 투명한 커버 역할을 하며, 외부 손끝에서 발생하는 빛을 내부 센서로 통과시키는 경로를 제공한다. 디스플레이(1120)는 지문 인식을 위한 발광을 담당하며, 특정 시점에 지정된 발광 영역(331)이 손끝을 조사하여 지문 이미지를 형성할 수 있도록 한다. 구조체(1130)는 빛의 직진성을 향상시켜 조사된 빛이 손끝에서 반사된 후 포토 다이오드로 정확히 도달하도록 유도한다. 이를 위해 렌즈 또는 SLM 같은 광학 제어 소자가 포함될 수 있다. 포토 다이오드(1140)는 조사된 광이 손끝에서 반사되어 돌아온 빛을 감지하여, 위치 기반의 광 정보로 변환한다. 레지스터(1150)는 감지된 정보를 임시 저장하며, 이후 데이터 처리와 비교를 위한 저장소로 활용된다. 컨트롤러(1160)는 다음과 같은 다양한 기능을 수행한다. 지문 인식 트리거 이벤트 감지(UI 요소 노출, 사용자 입력, 물체 근접 등), 운영 모드 전환(노말 모드 ↔ 지문 인식 모드), 구조체 제어를 통한 광학 특성 변화(예: PSF 조정, 픽셀 그룹 선택적 활성화), 발광 제어(순차 발광), 광 정보 수신 및 지문 이미지 생성, 저장된 지문 이미지와의 비교를 통한 사용자 인증 결정, 인증 완료 후 모드 복귀하므로 이러한 기능적 흐름은 생체 인식 기술을 전자 장치에 효율적으로 통합하기 위한 일련의 연동 작용으로, 하드웨어와 소프트웨어가 유기적으로 통합되어 사용자의 손끝을 통한 지문 인증을 수행하도록 설계되어 있다."
},
      "response": "도 2에 도시된 바와 같이, 본 발명에 따른 배터리 팩 시스템, 예컨대, 리듐이온배터리 팩(LIB 팩: Lithim Ion Batteries pack) 시스템(20)은 서킷 브레이커(CB: Circuit Breaker )(15), LIB 모듈(14) 등을 구비하는 유니버셜 팩(U-Pack: universal Pack)(13)과, 상기 U-Pack(13)과 통신 연결 되면서 , 각 U-Pack(13)의 동작을 전반적으로 제어하는 메인 제어기인 클러스터 앤 메인 컨트럴 유닛(CMCU: Cluster & Main Control Unit)(11)과, 상기 U-Pack(13)과 전기적으로 연결되면서 각 U-Pack(13) 측으로 전기적인 파워를 공급하는 파워 공급 유닛(PDU: Power Disribution Unit )(12) 등이 긴밀하게 조합된 구성을 취하게 된다."
},  
},
}