AI-Hub

데이터 변경이력

소개

온디바이스AI 기반의 독거노인 돌봄용 위험감지 서비스에 활용되기 위한 다양한 독거노인의 생활환경에서 생산되는 환경측정 및 동작 감지, 생체신호, 적외선 이미지, 응급요청, 상담기록의 멀티모달 데이터세트 임

구축목적

독거노인의 멀티모달 센서데이터를 온디바이스AI 모델에 학습하여 위험 상황 발생시 상태추정 및 근거제시를 바탕으로 돌봄담당자의 세부 대응 또는 자율적인 AI 후속조치를 가능하게 함

ㅇ 멀티모달 온디바이스 AI
• 입력으로 센서데이터 및 적외선 이미지, 개인정보 텍스트가 제공될 때, 응급/일상행동 상태추정(6 ea)및 근거 제시
• Multimodal 센서데이터 활용으로 개별 센서 오류에 강건하며, LLM기반 추정으로 일상행동 인식과 더불어 돌발적인 응급행동 인식제공 
• 상태추정 근거제시로, 후속적인 multimodal-LLM의 자율 응급대응 연계

ㅇ 데이터 구성

ㅇ 어노테이션 포맷
   - 신규가구 데이터 라벨링 어노테이션 포맷

   - 기존가구 데이터 라벨링 어노테이션 포맷

ㅇ 데이터 포맷

ㅇ 실제 예시

1) 기존가구
JSON file format - 기존
{  
   "MetaData": {
      "ID": "0001",
       "Age": 80,
       "Gender": "F",
       "Region": "강원특별자치도",
       "DiseaseYN": "Y",
       "ReceiptST": "Y",
       "Environment": "아파트형",
       "ModelList": "['SME20SD', None]",
       "RawUnit": {
          "Environmental": "℃, RH, CdS%, au, ppm, ppb"
       }
   },
   "TimeSeriesData": [
      {
         “SeqNum”: 1000000,
         “TimeStamp”: ”2024-06-21T00:00",
         “EM_Sensor”: {
            "DataType": "EM_Sensor",
            "Temperature": 22.2,
            "Humidity": 67.0,
            "Illuminance": 10.6,
            "Activity_IR": 6,
            "CO2": 405.0,
            "TVOC": 0.0,
            "Label":"기타"
         },
         “Counseling”: {
            "DataType": "Counseling",
            "Counseling": "잠을 설침",
            "Memo": "특이사항없음",
            "Information": "특이사항없음"
         }
      },
      {
         “SeqNum”: 1000001,
         “TimeStamp”: "2024-06-21T00:10",
         “EM_Sensor”: {
            "DataType": "EM_Sensor",
            "Temperature": 22.3,
            "Humidity": 65.7,
            "Illuminance": 12.4,
            "Activity_IR": 50,
            "CO2": 415.0,
            "TVOC": 50.0,
            "Label":"식사"
         },
         “Counseling”: {
            "DataType": "Counseling",
            "Counseling": "특이사항없음",
            "Memo": "반나절 집을 비움",
            "Information": "특이사항없음"
         }
      }
   ]
}  

2) 신규가구
JSON file format – 신규
{
   "MetaData": {
      "ID": "0002",
      "Age": 70,
      "Gender": "F",
      "Region": "강원특별자치도",
      "DiseaseYN": "Y",
      "ReceiptST": "Y",
      "Environment": "아파트형",
      "ModelList": "['SME20SD', '바이탈링', 'MVPC10']",
      "RawUnit": {
      "Environmental": "℃, RH, CdS%, au, ppm, ppb",
      "VitalRing": "bpm, br/min, %, °C, level, score, steps/10min, au, au, Kcal/10min"
      }
   },
   "TimeSeriesData": [
      {
         "SeqNum": 1000000,
         "TimeStamp": "2024-10-04T14:30",
         "EM_Sensor": {
            "DataType": "EM_Sensor",
            "Temperature": 26.2,
            "Humidity": 37.0,
            "Illuminance": 43.0,
            "Activity_IR": 451,
            "CO2": 442.0,
            "TVOC": 43.0,
            "Label": "기타"
         },
         "SM_Sensor": {
            "DataType": "SM_Sensor",
            "HeartRate": 74,
            "BreathRate": 19,
            "SPO2": 96,
            "SkinTemperature": -0.2,
            "SleepPhase": 9,
            "SleepScore": 0,
            "WalkingSteps": 0,
            "StressIndex": 30,
            "ActivityIntensity": 37,
            "CaloricExpenditure": 0,
            "Label": "일상"
         },
         "IR_Sensor": {
            "DataType": "IR_Sensor",
            "Image_IR": "IR_A00002_20241004_1430.png",
            "Caption": "객체가 3명 있고, 앉아있음."
         },
         "ER_Sensor": {
            "DataType": "ER_Sensor",
            "Button": 0,
            "Shout": 0,
            "Label": "일상"
         },
         "Counseling": {
            "DataType": "Counseling",
            "Counseling": "특이사항없음",
            "Memo": "특이사항없음",
            "Information": "특이사항없음"
         },
         "Total_Labeling": {
            "DataType": "Total_Labeling",
            "Estimation": "기타",
            "Reason": "특이사항 없음으로 일상으로 판단"
         }   
      },
      {
         "SeqNum": 1000001,
         "TimeStamp": "2024-10-04T14:40",
         "EM_Sensor": {
            "DataType": "EM_Sensor",
            "Temperature": 25.8,
            "Humidity": 36.0,
            "Illuminance": 42.0,
            "Activity_IR": 189,
            "CO2": 418.0,
            "TVOC": 31.0,
            "Label": "기타"
         },
         "SM_Sensor": {
            "DataType": "SM_Sensor",
            "HeartRate": 76,
            "BreathRate": 19,
            "SPO2": 97,
            "SkinTemperature": -0.3,
            "SleepPhase": 9,
            "SleepScore": 0,
            "WalkingSteps": 0,
            "StressIndex": 41,
            "ActivityIntensity": 8,
            "CaloricExpenditure": 0,
            "Label": "일상"
         },
         "IR_Sensor": {
            "DataType": "IR_Sensor",
            "Image_IR": "IR_A00002_20241004_1440.png",
            "Caption": "객체가 1명 있고, 서있음."
         },
         "ER_Sensor": {
            "DataType": "ER_Sensor",
            "Button": 0,
            "Shout": 0,
            "Label": "일상"
         },
         "Counseling": {
            "DataType": "Counseling",
            "Counseling": "특이사항없음",
            "Memo": "특이사항없음",
            "Information": "특이사항없음"
         },
         "Total_Labeling": {
            "DataType": "Total_Labeling",
            "Estimation": "기타",
            "Reason": "특이사항 없음으로 일상으로 판단"
         }   
      }
   ]
}

데이터셋 구축 담당자

수행기관(주관) : ㈜위즈베이스

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처