인도(人道) 보행 영상 AI 데이터
구축목적
- 장애인 이동권 신장
- 인공지능의 도움으로 장애인 보행에 위협요소인 각종 장애물(자동차, 사람, 가로수, 가로등 등)과 파손 등으로 위험한 보행 노면을 피해 보다 안전하고 원활한 장애인 이동권 보장 - 인도보행 인공지능 분야 공개데이터 셋의 부족
- 국내 인도보행영상 데이터셋 구축 사례 전무한 상태에서 국내 환경 맞춤형 데이터셋 구축 필요 자율주행 분야에서 차도뿐 아니라 생활도로, 인도 등의 국내 다양한 도로형태에서의 데이터 셋 구축
활용분야
공통
- 본 데이터셋 고도화를 통한 AI 개발 상용 서비스 개발 지원
- 장애인 보행권 확보를 위한 공익성 높은 AI 시범 서비스 개발 지원
Ex. 휠체어 자율 주행, 보행 보조기, 퍼스널 네비게이터
산업분야
- 노면 인식 기술을 활용한 안전한 도로(Safety Road) 서비스 개발
: 보도블록, 점자블록 등 인도 파손 관련 여러 상태에 대한 탐지 후 안내 서비스 - 인도 파손 현황의 지능형 탐지(파손 속도를 파악 및 예측하여 위험도 알림) 서비스 개발
- 한국형 딜리버리봇 등 인도상 자동 주행 서비스, 인도 종합 모니터링 시스템 개발
- 오토바이, 전동킥보드, 자전거, 보드 등을 이용한 이동 및 배달 서비스에 위험 모니터링 시스템 개발
연구분야
- AI기술을 이용 인도상의 객체 인식 기술
: 인도상 이동체(자전거, 버스, 승용창/승합차, 리어카/손수레, 고양이, 개, 오토바이/스쿠터, 이동식 홍보 전시물/안내판, 사람, 두발로 탈 수 있는 기구, 유모차, 트럭, 휠체어)와 고정체(바리케이드, 벤치, 볼라드, 1인 의자, 소화전, 독립단말기/작은 점포, 주차요금정산기, 대/기둥, 화분, 전력제어함, 버스/택시 정류장, 탁자, 신호등, 신호등제어기, 교통표지판, 가로수 기둥)에 대한 객체 인식 - 기술 연구
: 인도상 한국형 객체 학습을 통한 국내 맞춤형 객체 인식 기술 개발인도 설치물 정상적 설치 여부 확인 기술
: 인도 설치물의 vision 기반 정상/비정상 파악을 통한 사회 시설물 및 환경에 대한 연구 - Stereo vision을 이용한 Depth Prediction 연구
- 도로상의 파손, 도로 타입 등의 객체 학습을 통한 기술 개발
사례
- 성남시 오픈 이노베이션 챌린지 대회(바로가기)
구축량
- Bounding Box 데이터셋 : 35만
- 인도보행에 장애가 되는 객체 29종에 대해 ‘박스’ 형태로 어노테이션한 데이터 - Polygon 데이터셋 : 10만
- 인도보행에 장애가 되는 객체 29종에 대해 ‘폴리곤’ 형태로 어노테이션한 데이터 - Surface Masking 데이터셋 : 5만
- 인도 노면 상태(재질, 특수성, 파손여부 등)정보를 ‘폴리곤’ 형태로 어노테이션하고 마스킹한 데이터 - Depth Prediction 데이터셋 : 17만
- 스테레오 카메라를 이용한 깊이 인식
대표 도면
필요성
- 장애인 이동권 신장
- 인공지능의 도움으로 장애인 보행에 위협요소인 각종 장애물(자동차, 사람, 가로수, 가로등 등)과 파손 등으로 위험한 보행 노면을 피해 보다 안전하고 원활한 장애인 이동권 보장 - 인도보행 인공지능 분야 공개데이터 셋의 부족
- 국내 인도보행영상 데이터셋 구축 사례 전무한 상태에서 국내 환경 맞춤형 데이터셋 구축 필요 - 사회-경제적 약자 및 취약 계층을 위한 일자리 창출
- AI 기술 산업이 제4차 산업혁명으로 급변하는 산업 환경에서 노동 시장으로부터 급격히 소외되리라 예측되는 사회경제적 약자와 취약계층에게 오히려 새로운 노동 기회를 부여하는 긍정적 역할의 가능성 확인
구축내용
- Bounding Box/Polygon Segmentation 데이터셋 : 인도보행시 충돌위험이 존재하는 이동체와 고정체를 분석하여 29종 장애물 객체로 정의하고 어노테이션함
| 대분류 | 소분류 | 라벨명(뜻) |
|---|---|---|
| 장애물 | 이동체 | bicycle(자전거) bus(버스) car(승용차, 승합차) carrier(리어카, 손수레) cat(고양이) dog(개) motorcycle(오토바이, 스쿠터) movable_signage(이동식 홍보 전시물/안내판) person(사람) scooter(변속 기어가 없는 이륜차, 두 발로 탈수 있는 기구) stroller(유모차) truck(트럭) wheelchair(휠체어) |
| 고정체 | barricade(바리케이드) bench(벤치) bollard(볼라드) chair(1인 의자) fire_hydrant(소화전) kiosk(한쪽이 열리는 작은 점포/ATM기기 등 독립된 단말기) parking_meter(주차요금정산기) pole(대/기둥) potted_plant(화분) power_controller(전력제어함) stop(버스/택시 정류장) table(탁자) traffic_light(신호등) traffic_light_controller(신호등제어기) traffic_sign(교통표지판) tree_trunk(가로수 기둥) |
- Surface Masking 데이터셋 : 노면의 안전성 부족으로 인한 위험유발가능성을 고려하여 노면 특성(재질, 특수성, 파손여부 등)에 따라 20종 노면 객체 및 속성을 정의하고 어노테이션 및 마스킹 처리함
| 대분류 | 소분류 | 라벨명(뜻) |
|---|---|---|
| 노면 | alley (사람과 차가 함께 다닐 수 있는 길) |
crosswalk (횡단보도) damaged (파손) normal (일반) speed_dump (과속방지턱) |
| bike_lane (자전거도로) |
(속성값 없음) | |
| braille_guide_blocks (점자블록) | damaged (파손) normal (일반) |
|
| caution_zone (주의구역) |
grating (그레이팅) manhole (맨홀) repair_zone (보수구역) stairs (계단) tree_zone (가로수영역) |
|
| roadway (차만 다닐 수 있는 길) |
crosswalk (횡단보도) normal (일반) |
|
| sidewalk (인도) |
asphalt (아스팔트) blocks (보도블럭) cement (시멘트) damaged (파손) other (기타) soil_stone (흙/돌) urethane (우레탄) |
- Depth Prediction 데이터셋 : 하나의 Depth Prediction 데이터셋에 해당하는 8개의 파일은 아래와 같음
| 파일명 | 내용 |
|---|---|
| Disparity16 | GA-net을 통해 추출되는, disparity의 data(좌우 이미지에서 대응점의 x축 상 pixel 차이, 거리감을 나타내는 data)가 저장된 파일. grayscale로 저장 |
| Disparity | GA-net을 통해 추출되는, disparity를 시각화(visualization)한 파일. RGB로 저장 |
| Confidence_save | photo-consistency 방식을 통해 GA-net으로 추출된 disparity의 신뢰성을 측정하기 위해 생성된 이미지. 각 픽셀에 대해 좌우 이미지의 밝기 차이(0~255) 값이 들어있음 |
| Confidence | confidence_save의 값을 분석하여 2진화한 파일. 본 과제에서는 전체 pixel 갯수 중 1의 갯수의 합이 20% 이상인 것만 취함 * 1 : true confidence (백색) * 0 : false confidence(흑색) |
| Crop_Left | GA-net의 입력 이미지로 쓰이는 Stereo Camara의 왼쪽 이미지. 1920x592 |
| Crop_Right | GA-net의 입력 이미지로 쓰이는 Stereo Camera의 오른쪽 이미지. 1920x592 |
| Raw_Left | 원본의 왼쪽 이미지. 1920x1080 |
| Raw_Right | 원본의 오른쪽 이미지. 1920x1080 |
* calibration 파일 : 좌우카메라의 상대적 위치, 광학 특성 등 스테레오 영상에서 depth를 구하기 위해 좌우 영상 보정 정보를 담고 있는 파일임. 폴더 단위로 제공
데이터 구조
- 파일 형식 : XML(단, Depth Prediction 데이터셋은 예외)
- 데이터 구조 : <meta>+<image>[]
- 공통정보 <meta>
| Tag | 설명 | |
|---|---|---|
| task | id | task의 고유번호 서버에서 관리하는 값으로 자동으로 부여 |
| name | task의 이름 | |
| size | task의 사이즈 | |
| mode | task의 작업 모드 (default:annotation) annotation은 이미지, Interpolation은 동영상 작업 |
|
| overlap | task가 동영상인 경우 task간 겹쳐진 프레임의 개수 | |
| bugtracker | 이슈 관리 | |
| flipped | 뒤집힘 여부 | |
| created | task가 생성된 시간 | |
| updated | task가 수정된 시간 | |
| start_frame | task의 시작 frame 정보 (default:0) | |
| stop_filter | task의 종료 frame 정보 (default:0) | |
| frame_filter | task filter 정보 (default:0) | |
| labels | 라벨 리스트(라벨은 label name,attribute로 구성 | |
| segements | task를 등록했을 경우 segments 관련 정보 | |
| owner | annotation 작업자 관련 정보 | |
| dumped | xml 다운로드 받은 시간 | |
- 이미지별 어노테이션 정보
| Tag | Attribute | 설명 |
|---|---|---|
| image | id | image 고유번호 |
| name | image 이름 | |
| width | image 너비 | |
| height | image 높이 | |
| box | label | 레이블명 |
| occluded | 가림/잘림 표시 | |
| xtl/ytl | box에서 좌상단 x/y 좌표(X Top Left/Y Top Left) | |
| xbr/ybr | box에서 우하단 x/y 좌표(X Bottom Right/Y Bottom Right) | |
| z_order | 객체가 그려진 순서 정보 | |
| polygon | label | 레이블명 |
| points | polygon에서 폴리곤의 포인트 좌표 | |
| occluded | 가림/잘림 표시 | |
| z_order | 객체가 그려진 순서 정보 | |
| group_id | polygon에서 그룹화 작업의 정보 group_id 값이 같으면 같은 그룹 | |
| attribute | name | 속성값 |
데이터 구축 담당자
수행기관(주관) : ㈜테스트웍스
| 책임자명 | 전화번호 | 대표이메일 | 담당업무 |
|---|---|---|---|
| 윤석원 | 02-420-5178 | aiworks_data@testworks.co.kr | · AI 학습용 데이터 설계 / 가공 |
수행기관(참여)
| 기관명 | 담당업무 | 기관명 | 담당업무 |
|---|---|---|---|
| (사)한국척수장애인협회 | · 데이터 수집/정제, 비식별화 | ㈜셀렉트스타 | · 데이터 수집/정제 |
| 카이스트 RCV | · 데이터 설계 / 검증 · 객체/거리 인식 모델 프로토타입 개발 |
㈜디투리소스 | · 인도노면안전성모니터링 시범 서비스 개발 |
가이드라인 다운로드