BETA SMT 공정 개선 멀티모달 데이터
- 분야제조
- 유형 센서 , 이미지
- 생성 방식LMM
※ 26년 신규 개방되는 데이터로, 데이터 활용성 검토, 이용자 관점의 개선의견 수렴 등을 통해 수정/보완될 수 있으며 최종데이터, 샘플데이터, 산출물 등은 변경될 수 있습니다
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2026-05-19 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2026-05-19 산출물 최종 공개 소개
SMT 공정에서 수집된 검사 이미지와 공정 환경 센서 데이터를 결합한 멀티모달 데이터
구축목적
- SMT 공정 내 결함 인식 및 이상상황 감지 데이터 구축 - 멀티모달 데이터 기반의 이상 예측 모델 개발
-
메타데이터 구조표 데이터 영역 제조 데이터 유형 센서 , 이미지 데이터 형식 jpg, csv 데이터 출처 직접 수집 라벨링 유형 바운딩박스(이미지), 분류태그(센서) 라벨링 형식 json 데이터 활용 서비스 결함 인식 서비스, 공정 이상 감지 서비스 데이터 구축년도/
데이터 구축량2025년/- 원천 데이터: 102,710건 - 라벨링 데이터: 51,355건 -
대분류 중분류 소분류 성과 목표 구축 실적 목표 수치 합 계 50,000 51,355 102.70% 사전
공정정상 1.미납 1,333 1,338 100.40% 2.납부족 1,333 1,333 100.00% 3.납쇼트 1,631 1,641 100.60% 4.납볼 1,333 1,338 100.40% 5.납좌표 밀림 1,185 1,194 100.80% 6.납형성 불량 1,185 1,199 101.20% 불량 1.미납 2,000 2,011 100.60% 2.납부족 2,000 2,205 110.30% 3.납쇼트 2,444 2,459 100.60% 4.납볼 2,000 2,049 102.50% 5.납좌표 밀림 1,778 1,813 102.00% 6.납형성 불량 1,778 1,853 104.20% 메인(납땜)
공정정상 1.미납 1,320 1,324 100.30% 2.냉납 960 968 100.80% 3.밀림 1,680 1,682 100.10% 4.쇼트 1,140 1,147 100.60% 5.오삽 300 309 103.00% 6.미삽 1,380 1,390 100.70% 7.역삽 780 794 101.80% 8.뒤집힘 1,080 1,086 100.60% 9.일어섬 1,560 1,572 100.80% 10.납볼 720 736 102.20% 11.납금감,핀홀 600 606 101.00% 12.납고드름 480 496 103.30% 불량 1.미납 1,980 1,997 100.90% 2.냉납 1,440 1,488 103.30% 3.밀림 2,520 2,607 103.50% 4.쇼트 1,710 1,742 101.90% 5.오삽 450 490 108.90% 6.미삽 2,070 2,114 102.10% 7.역삽 1,170 1,234 105.50% 8.뒤집힘 1,620 1,724 106.40% 9.일어섬 2,340 2,370 101.30% 10.납볼 1,080 1,122 103.90% 11.납금감,핀홀 900 1,180 131.10% 12.납고드름 720 744 103.30% *이미지데이터 수량 기준임
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드◯ 임무 정의
SMT 공정에서 수집되는 온도, 습도, 진동, 소리 등 다양한 센서 기반 시계열 데이터와 AOI/SPI 장비로부터 획득한 고해상도 이미지 데이터를 결합하여, 불량 발생을 사전에 예측하거나 실시간으로 감지할 수 있는 지능형 AI 모델 개발◯ 임무 선정 사유
SMT(Surface Mount Technology) 공정은 부품의 고속 실장과 정밀 납땜이 반복되는 복합 공정으로, 공정 조건의 미세한 변화나 설비 이상이 곧바로 제품 불량으로 이어질 가능성이 높음. 이러한 불량은 단일 제품의 품질 저하에 그치지 않고, 라인 전체의 생산성 저하, 납기 지연, 대량 리워크 및 설비 정지 등으로 이어져 막대한 손실 초래
따라서 공정 내 “위험 징후”를 사전에 포착하고, 품질 불량이 발생하기 이전에 선제적으로 대응할 수 있는 시스템을 구성하는 것이 스마트 제조 시스템의 안정성 확보를 위한 필수 요소임.
이미지 및 센서 데이터를 결합한 멀티모달 기반 이상탐지 기술을 활용하여 불량 발생 가능성을 사전에 예측하고 SMT 공정의 위험 징후를 조기에 포착하여 설비 예지 보전에 적용 가능한 최적의 인공지능 학습 모델 개발◯ 학습 모델 개발 환경
학습 환경: Ubuntu, Python, Pytorch, GPU
성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정◯ 최종 선정 모델
◯ 최종 선정 모델 구분 학습 모델 공정 최적화를 위한 멀티모달 데이터 기반
SMT 공정 결함 예측 모델Swin Transformer, TimesNet 멀티모달 모델 사전공정 결합 상태 검출 모델 YOLOv11 납땜공정 결합 상태 검출 모델 YOLOv11 - 공정 최적화를 위한 멀티모달 데이터 기반 SMT 공정 결함 예측 모델
• 이미지 및 센서 데이터(온도, 습도, 가속도, 소리, 고감도마이크)를 결합한 멀티모달 기반 이상탐지 기술을 활용하여 불량 발생 가능성을 사전에 예측하고 SMT 공정의 위험 징후를 조기에 포착하여 설비 예지 보전에 적용 가능한 최적의 인공지능 학습 모델 개발
• 시계열 데이터의 다중 주기성(Multi-Periodicity) 및 시간 변화 패턴(Temporal Variation)을 정밀하게 처리하는 TimesNet과, SMT 공정 이미지의 국소적 결함과 공간적 패턴 인식에 특화된 Swin Transformer를 융합한 멀티모달 구조로, 예지보전(PdM) 및 공정 최적화에 최적화된 아키텍처를 구성
• TimesNet은 시계열 데이터를 2D 구조로 변환하여 다양한 시간대 패턴을 동시에 학습하고, Swin Transformer는 계층적 Shifted Window 기반 Self-Attention을 통해 이미지 상의 미세 결함을 효과적으로 인식하는 AI 학습 모델 개발
- 사전공정 결합 상태 검출 모델, 납땜공정 결합 상태 검출 모델(공통)
• YOLOv11은 최신 YOLO 계열의 경량 고성능 객체 탐지 모델로, 실시간 탐지와 높은 정확도를 동시에 제공. 기존 YOLOv7, YOLOv8 대비 구조 최적화 및 attention 모듈 개선으로 연산 효율성과 정밀도가 모두 향상됨
• 작은 객체 및 복잡한 배경에서도 높은 탐지 성능을 유지하여 산업용 영상 분석에 유리함
• ONNX 및 TensorRT와의 호환성이 우수하여 시스템 통합 및 최적화에 유리하며 다양한 해상도와 입력 비율에 대해 robust하게 동작하여 다양한 환경에서의 결함 탐지에 안정적으로 적용 가능함
• 오픈소스 기반으로 커스터마이징이 용이하고, 도메인 데이터에 맞춘 재학습(fine-tuning)이 빠르게 가능◯ AI 모델 성능
◯ AI 모델 성능 품질특성 TASK 명 모델명 지표 목표치 결과값 유효성 SMT 공정 불량 예측 Swin Transformer + TimesNet 퓨전 F1-Score 90% 이상 97.63% 사전공정 결합 상태 검출 YOLOv11 mAP 70% 이상 84.10% 납땜공정 결함 상태 검출 YOLOv11 mAP 70% 이상 78.40% -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 구성
- 원천데이터(이미지) : 51,355장
- 원천데이터(센서) : 51,355건
- 라벨링데이터 : 51,355건2. 어노테이션 포맷
2. 어노테이션 포맷 구분 속성명 타입 필수
여부설명 범위 비고 1 categories array y 라벨 정보 1-1 id number y 라벨 번호 1~32 1-2 name string y 라벨 이름 프로퍼티 설명 참고 2 images array y 이미지 정보 2-1 id number y 이미지 번호 1~9999 1 2-2 width number y 이미지 폭 512 2-3 height number y 이미지 높이 512 2-4 file_name string y 이미지 파일명 ^[A-Z]{2}_[A-Z]{3}_[A-Z]{2}_[A-Z]{1}_\d{8}-\d{6}_\d{5}\.(jpg|JPG)$ “PR_NOR_NM_A_250101-110101_0001” 3 annotations array y 라벨링 정보 3-1 id number y 어노테이션 식별자 1~9999 3-2 image_id number y 이미지 번호 1~9999 3-3 category_id number y 라벨 유형
(클래스 id)1~32 3-4 segmentation array n 세그멘테이션 정보 3-5 area number y 바운딩박스 전체면적 3-6 bbox array y 바운딩박스 정보 3-7 iscrowd number n 다중 객체 라벨 시 사용되는 변수 3-8 attributes object n 라벨 속성값 3-8-1 occluded boolean n 객체 가려짐 여부 true:가려짐
false:가려지지않음3-8-2 rotation number n 바운딩박스 회전값 4 sensor_data array y 센서 라벨링 정보 4-1 image_id number y 이미지 번호 1~9999 4-2 sensor_sequence array y 센서 속성값 4-2-1 timestamp string y 타임스탬프 \d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}$ “2025-07-04 13:00:01” 4-2-2 temperature number y 온도 센서 값 4-2-3 humidity number y 습도 센서 값 4-2-4 vibration number y 진동 수치 4-2-5 acceleration number y 가속도 4-2-6 noise number y 음향 4-2-7 defect_detected number y 정상/불량 여부 0: 정상
1: 불량3. 데이터 포맷
- 원천데이터(이미지) : 51,355장
- 원천데이터(센서) : 51,355건
- 라벨링데이터 : 51,355건4. 실제 예시
{
"categories": [
{
"id": 1,
"name": "정상_미납"
},
{
"id": 2,
"name": "정상_납부족"
},
{
"id": 3,
"name": "정상_납쇼트"
},
{
"id": 4,
"name": "정상_납볼"
},
{
"id": 5,
"name": "정상_납좌표밀림"
},
{
"id": 6,
"name": "정상_납형성불량"
},
{
"id": 7,
"name": "정상_냉납"
},
{
"id": 8,
"name": "정상_밀림"
},
{
"id": 9,
"name": "정상_쇼트"
},
{
"id": 10,
"name": "정상_오삽"
},
{
"id": 11,
"name": "정상_미삽"
},
{
"id": 12,
"name": "정상_역삽"
},
{
"id": 13,
"name": "정상_뒤집힘"
},
{
"id": 14,
"name": "정상_일어섬"
},
{
"id": 15,
"name": "정상_납금감/핀홀"
},
{
"id": 16,
"name": "정상_납고드름"
},{
"id": 17,
"name": "불량_미납"
},
{
"id": 18,
"name": "불량_납부족"
},
{
"id": 19,
"name": "불량_납쇼트"
},
{
"id": 20,
"name": "불량_납볼"
},
{
"id": 21,
"name": "불량_납좌표밀림"
},
{
"id": 22,
"name": "불량_납형성불량"
},
{
"id": 23,
"name": "불량_냉납"
},
{
"id": 24,
"name": "불량_밀림"
},
{
"id": 25,
"name": "불량_쇼트"
},
{
"id": 26,
"name": "불량_오삽"
},
{
"id": 27,
"name": "불량_미삽"
},
{
"id": 28,
"name": "불량_역삽"
},
{
"id": 29,
"name": "불량_뒤집힘"
},
{
"id": 30,
"name": "불량_일어섬"
},
{
"id": 31,
"name": "불량_납금감/핀홀"
},
{
"id": 32,
"name": "불량_납고드름"
}
],"images": [
{
"id": 1,
"width": 512,
"height": 512,
"file_name": "SD_DEF_NM_A_20250807-090104_00001.JPG"
}
],
"annotations": [
{
"id": 1,
"image_id": 1,
"category_id": 17,
"segmentation": [],
"area": 29418.245799999997,
"bbox": [
98.12,
3.75,
265.34,
110.87
],
"iscrowd": 0,
"attributes": {
"occluded": false,
"rotation": 0.0
}
},
{
"id": 2,
"image_id": 1,
"category_id": 17,
"segmentation": [],
"area": 28436.52,
"bbox": [
99.9,
173.8,
271.6,
104.7
],
"iscrowd": 0,
"attributes": {
"occluded": false,
"rotation": 0.0
}
}
],"sensor_data": [
{
"image_id": 1,
"sensor_sequence": [
{
"timestamp": "2025-08-07 09:01:04",
"temperature": 23.2,
"humidity": 40.47,
"vibration": 0.4118,
"acceleration": 0.0178,
"noise": 81.82,
"defect_detected": 1
},
{
"timestamp": "2025-08-07 09:01:05",
"temperature": 23.37,
"humidity": 40.31,
"vibration": 0.3872,
"acceleration": 0.0185,
"noise": 81.24,
"defect_detected": 1
},
{
"timestamp": "2025-08-07 09:01:06",
"temperature": 23.59,
"humidity": 40.01,
"vibration": 0.3663,
"acceleration": 0.0209,
"noise": 80.71,
"defect_detected": 1
},
{
"timestamp": "2025-08-07 09:01:07",
"temperature": 23.74,
"humidity": 40.0,
"vibration": 0.3512,
"acceleration": 0.0232,
"noise": 79.42,
"defect_detected": 1
},
{
"timestamp": "2025-08-07 09:01:08",
"temperature": 23.97,
"humidity": 40.0,
"vibration": 0.3304,
"acceleration": 0.0251,
"noise": 78.51,
"defect_detected": 1
}
]
}
]
} -
데이터셋 구축 담당자
수행기관(주관) : 주식회사 스마트뱅크
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 황정연 050-7871-3610 hjyeon313@smartbank.ne.kr 사업총괄, 데이터 정제, 데이터 가공 수행기관(참여)
수행기관(참여) 기관명 담당업무 주식회사 엔텍디바이스코리아 데이터 수집 주식회사 케이솔루션즈 AI모델 퍼스널에이아이 주식회사 데이터 품질 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 전형식 050-7871-3610 jhs71022@gmail.com 황정연 050-7871-3610 hjyeon313@smartbank.ne.kr AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 김강웅 02-6415-2236 kwkim@ksolution.kr 김빈 02-6415-2236 bkim@ksolution.kr 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 전형식 050-7871-3610 jhs71022@gmail.com 황정연 050-7871-3610 hjyeon313@smartbank.ne.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.