AI-Hub

데이터 변경이력

소개

반도체, 디스플레이, 자동차, 의료 등 제조 현장에서 적용 가능한 탄화 예측을 위한 OHT, AGV의 센서 및 열화상 이미지 멀티모달 데이터셋 구축

구축목적

반도체, 디스플레이, 자동차, 의료 등 제조 현장에서 활용되는 온디바이스 AI 기반의 OHT, AGV 장치를 대상으로, 실시간으로 수집하는 데이터를 기반으로 탄화 발생을 사전 예측하고 방지하는 서비스 개발 지원

1. 데이터 구축 규모(총 구축량 124,263세트 : 1차 개방 10.7% 13,121세트)

2. 데이터 분포
전체 파일 규모

다양성(통계)
- 제조사 별 분포

- 이송장치 모델 별 분포 

- 이송장치 별 분포 

- OHT 이송장치 별 판별등급 분포

- AGV 이송장치 별 판별등급 분포

- 판별등급 별 분포

[MMTransformer Architecture]  

1. MMTransformer 모델은 겨울철 도로 표면 상태를 감지하고 예측하기 위해 Multimodal Transformer 모델을 제안하였으며, 기존 방법들은 고정점 카메라로 촬영한 이미지와 보조 데이터를 단순하게 결합하여 사용하였지만 제안된 방법은 Cross-Attention Mechanism과 Time Series 처리를 통해 Modality 간의 효과적인 통합을 기반으로 발전된 성능을 제시함
- 해당 연구에서는 일본의 많은 지역에서 발생하는 겨울철 도로 표면 상태로 인해 교통사고가 자주 발생하는 것과 기존 디지털 지리 데이터를 기반으로 한 예측, 차량 장착 카메라로 촬영한 이미지 기반 등을 통한 연구의 한계점을 제시함
- 학습에 사용된 데이터는 2017년부터 2019년까지의 동부 일본 고속도로 회사에서 제공한 도로 표면 이미지를 사용하였으며, 각 이미지에는 건조, 습기, 검은 셔벗, 흰 셔벗, 눈, 압축된 눈, 얼음으로 7개의 라벨이 지정됨
- 보조 데이터의 경우 온도, 도로 온도, 강성량, 교통량 및 차량 속도 등이 포함된 시계열 데이터로 구성됨
- 제시된 MMTransformer 모델은 ViT(Vision Transformer)와 MLP(Multi Layer Perceptron)으로 구성됨
- 이미지 데이터의 특징 추출을 위해 ImageNet 데이터가 사전 학습된 ViT 모델에 이미지를 패치 단위로 나누어 위치 임베딩과 함께 입력하여 Transformer 인코더를 통해 특징을 추출함
- 시계열 데이터의 특징 추출을 위해 연속형 데이터는 그대로 입력하고, 명목형 데이터는 One-Hot Encoding 및 Soft Label Encoding 방식을 통해 특징을 추출함
- 각각의 Modality를 결합하기 위해 Cross-Attention Mechanism을 통해 이미지와 시계열 데이터의 특징을 여러 시점에 걸친 입력 데이터의 상관성을 고려하여 특징을 통합
- 여러 시점에 걸친 도로 표면 상태 변화를 고려하여, 각 시점의 데이터를 입력하여 Cross-Attention Mechanism을 통해 결합된 특징을 MLP에 입력하여 최종 예측을 수행함
- 동부 일본 고속도로에서 제공한 데이터를 기반으로 제시된 모델 성능 평가를 수행하여 Accuracy(0.95)/Macro F1-Score(0.75)로 TSC 기반 모델에서 SOTA 성능을 달성
- 제시된 SOTA 모델을 기반으로 본 과제의 데이터 유효성 검증을 위한 성능지표와 성능치를 산정함 Accuracy(0.80)/Macro F1-Score(0.68)

o 데이터 구성
  탄화 예측 모델의 예측 정확도를 개선하기 위해 산업 현장과 동일한 환경으로 구성된 Test-bed에서 수집된 OHT ,AGV 센서값 및 열화상 이미지 정보를 세트(Set)로 구성 (1SET = 8유형의 센서값 데이터와 열화상 이미지 1장으로 구성)
  ※ 정상, 관심, 경고, 위험등급 데이터는 모사시스템에서 수집
 

ㅇ (총 구축 수량) 124,263개 세트(1차 개방 10.7%:13,238개 세트)
 - OHT, AGV 판별 등급별 분포 

- 측정 대상별 분포

• OHT 속성 데이터(JSON)   *AGV 동일  

{
  "meta_info": [
    {
      "device_id": "oht01",
      "device_manufacturer": "A",
      "device_name": "A1",
      "dust_sensor_manufacturer": "S01",
      "dust_sensor_name": "S02",
      "temp_sensor_manufacturer": "S09",
      "temp_sensor_name": "S10",
      "overcurrent_sensor_manufacturer": "S17",
      "overcurrent_sensor_name": "S18",
      "thermal_camera_sensor_manufacturer": "S25",
      "thermal_camera_sensor_name": "S26",
      "installation_environment": "테스트베드",
      "collection_date": "08-26",
      "collection_time": "20:29:01",
      "duration_time": "1",
      "sensor_types": "NTC, PM10, PM2.5, PM1.0, CT1, CT2, CT3, CT4",
      "cumulative_operating_day": "18",
      "equipment_history": "13",
      "img-id": "oht01_0826_202901",
      "location": "oht/01/",
      "filename": "oht01_0826_202901.json",
      "img_name": "oht01_0826_202901.bin",
      "img_description": "oht01의 현재 내부 온도(최대값)"
    }
  ],
  "sensor_data": [
    {
      "PM10": [
        {
          "data_unit": "µg/m3",
          "value": 10.0,
          "trend": "1"
        }
      ],
      "PM2.5": [
        {
          "data_unit": "µg/m3",
          "value": 12.0, 
 "trend": "1“
        }
      ],
      "PM1.0": [
        {
          "data_unit": "µg/m3",
          "value": 20.0,
          "trend": "1"
        }
      ],
      "NTC": [
        {
          "data_unit": "℃",
          "value": 27.1,
          "trend": "1"
        }
      ],
      "CT1": [
        {
          "data_unit": "A",
          "value": 2.0,
          "trend": "1"
        }
      ],
      "CT2": [
        {
          "data_unit": "A",
          "value": 1.38,
          "trend": "1"
        }
      ],
      "CT3": [
        {
          "data_unit": "A",
          "value": 0.3,
          "trend": "1"
        }
      ],
      "CT4": [
        {
          "data_unit": "A",
          "value": 0.38,
          "trend": "1"
        }
      ]
    }
  ],
  "ir_data": [
    {
      "temp_max": [
        {
          "value_TGmx": 43.67,
          "X_Tmax": 11.0,
          "Y_Tmax": 85.0
        }
      ]
    }
  ],
  "annotations": [
    {
      "tagging": [
        {
          "annotation_type": "tagging",
          "state": "0"
        }
      ]
    }
  ],
  "external_data": [
    {
      "ex_temperature": [
        {
          "data_unit": "℃",
          "value": 23.0,
          "trend": "1"
        }
      ],
      "ex_humidity": [
        {
          "data_unit": "%",
          "value": 35.0,
          "trend": "1"
        }
      ],
      "ex_illuminance": [
        {
          "data_unit": "lux",
          "value": 528.0,
          "trend": "1"
  }
      ]
    }
  ]
}

- 어노테이션 구성 

데이터셋 구축 담당자

수행기관(주관) : 에이치씨아이플러스㈜

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처