AI-Hub

1. 손발 포즈 데이터  
  - Segmentation 모델 : YOLO v11

○ 임무 정의
  - 네일/페디큐어 가상 피팅 및 큐레이션 서비스 구현을 위해 손/발 이미지 내 손톱(발톱) 영역을 정밀 분할(Segmentation)하고, 필요시 손·발 관련 객체를 탐지하여 가상 피팅 적용 대상 영역을 안정적으로 추출하는 것을 목적으로 함.

○ 임무 선정 사유
  - YOLO v11 기반 Segmentation은 객체 탐지 및 분할을 통합적으로 수행할 수 있어 실시간/준실시간 처리에 적합하며, 다양한 실제 환경 변화에 대해 강건한 성능 확보가 가능함.
  - 2024년에 개발된 실시간 객체 탐지 및 인스턴스 분할 모델
  - Attention 매커니즘과 가변적인 커널 크기 기반 기법으로 기존 YOLO 모델 대비 소형 객체 탐지 성능이 비약적으로 향상

○ 학습모델 개발 환경

2. 디자인 데이터
  - StyleTransfer 모델 : Style Splat

○ 임무 정의
  - 손·발 이미지 및 3D 재구성 결과를 기반으로, 네일/페디큐어 디자인을 손·발톱 영역에 자연스럽게 전사(Style Transfer)하여 가상 피팅 결과 이미지를 생성하는 것을 목적으로 함.

○ 임무 선정 이유
  - 네일/페디큐어는 질감·광택·반사 등 표현이 중요하여 단순 2D 합성방식보다 3D 기반 스타일 전이 모델이 시각적 품질을 크게 향상 시킬수 있음.
  - 2024년에 제안된 Gaussian splatting 기반 스타일 전이 모델
  - Gaussian splatting을 통해 다각도 이미지를 3D 복원하고, 복원한 이미지에 스타일을 전이할 수 있는 통합 프레임워크

○ 학습모델 개발 환경

○ 메타데이터① (손발 포즈 데이터)

○ 메타데이터② (디자인 데이터)

○ 데이터 포맷

○ 메타데이터① (손발 포즈 데이터)

{
"info": {
"created_date": "20251010",
"version": "v0.1"
},
"related_data": {
"pose_id": "021",
"rgb_list": ["P021_02_01_RGB_01",],
"depth_list": [“P021_02_01_DEPTH_01"],
"rgb_size": [2124, 2832]
"depth_size": [768,576]
"obj_list": ["P021_02_01_3D_01"]
},
"image_meta_info": [
{
"image_id": "P021_02_01_RGB_01",
"lux": 484,
"k": 5481,
"cameras": {
"camera_intrinsic": [
[-0.70238096, 0, -0.85119045 ],
[0, -0.70238096, -0.85119045 ],
[0, 0, 1 ] ],
"camera_intrinsic_RotationM": [
[0.83568746, -0.3741991, -0.40199688],
[-0.5444462, -0.66061026, -0.51688737 ],
[-0.072144434, 0.6508219, -0.75579494]],
"camera_extrinsic_TranslationV": [0, 0, 0],
"blur_score": 187.29153,
"gravity": [-0.5444461703300476, -0.6606101989746094, -0.516887366771698]
},
"polygon": [
[519.38, 1182.77, 533.95, 1235.58, 550.34, 1275.64, 561.27, 1292.03, 586.76,
1288.39, 610.43, 1264.71, 608.61, 1217.37, 597.68, 1177.31, 590.4, 1157.27,
563.09, 1146.35, 537.59, 1148.17, 521.2, 1157.27],
],
"bbox": [
[604.97, 550.89, 145.68, 200.3],
[838.08, 611.76, 157.38, 198.31],
[526.67, 731.16, 131.11, 196.67],
[519.38, 1146.35, 91.05, 145.68],
[1711.56, 1167.33, 130.63, 192.01]]},
}
],
"obj_meta_info": [
{
"obj_id": "P021_02_01_3D_01",
"vertex_count": 25109,
"face_triangle_count": 45537,
"bbox_size": [
0.14382699999999998,
0.15947,
0.126451
],
"bbox_diagonal_length": 0.24921224333888572,
"surface_area": 0.036384748063546885,
"volume": 0.0002768889766588987,
"geometry": [-0.009573900633239077,0.10942349002349755,-0.028939511011987735]
}
],
"subject_info": {
"sex_id": 1,
"ageg_id": 2,
"tone_id": 1
}
}

○ 메타데이터2 (디자인 데이터)

{
"info": {
"created_date": "20250930",
"version": "v0.1"
},
"related_data": {
"design_list": ["D17224_01_RGB_01"],
"design_size": [512, 512 ],
"texture_list": ["D17224_01_Texture_01_01",]
},
"design_meta_info": [
{
"image_id": "17224",
"pattern_id": [
"드로잉",
"유니크"
],
"color_id": [
"민트",
"블랙"
],
"shape_id": [
"Square"
],
"target_id": "hand",
"object_count": 5,
"polygons": [
[168.0, 237.0, 159.0, 245.0, 148.0,
265.0, 136.0, 300.0, 135.0],
],
"bbox": [
[135.0,237.0,90.0,108.0],
[291.0,100.0,127.0,91.0]
}
]
}