AI-Hub

‘DynamicMLP’는 미세 분류 작업에서 발생하는 근본적인 문제, 즉 시각적으로 매우 유사한 종들을 구별하는 어려움을 해결하기 위한 방법을 제안한다. 논문의 핵심 아이디어는 이미지의 시각적 특징만으로는 구분이 어려운 경우에 지리적 위치와 촬영 시간과 같은 추가 정보를 활용하여 분류 성능을 향상시켰다.

[‘DynamicMLP’ 모델 구조 개요도]

이 모델의 가장 큰 특징 중 하나는 ‘DynamicMLP’라는 새로운 구조의 도입이다. 기존의 다중 모달 방법들이 단일 차원에서만 특징을 융합하는 한계가 있었던 것에 반해, ‘DynamicMLP’는 더 높고 넓은 차원에서 다중 모달 특징들을 상호작용시킨다. 이 구조는 이미지 표현 위에서 작동하며, 위치와 날짜 정보로부터 학습된 임베딩에 의해 매개변수화되는 특징을 가진다.

논문은 세 가지 버전의 ‘DynamicMLP’를 제안한다. 기본 구현인 ‘Dynamic MLP-A’, 더 깊은 임베딩 레이어를 가진 ‘Dynamic MLP-B’, 그리고 연결 입력을 활용한 ‘Dynamic MLP-C’가 그것이다. 각 버전은 서로 다른 장점을 가지고 있으며, 특히 ‘Dynamic MLP-C’는 가장 우수한 성능을 보여주었다.

실험 결과는 iNaturalist 2017, 2018, 2021과 같은 주요 미세 분류 데이터셋에서 최고 성능을 달성했으며, 특히 FGVC8 대회에서 94.75의 top-1 정확도로 3위를 차지하는 성과를 거두었다. t-SNE 시각화를 통해 시각적으로 유사하지만 다른 카테고리에 속하는 이미지들의 특징 표현이 더 잘 구분됨을 확인할 수 있었다.

‘A Point Set Generation Network for 3D Object Reconstruction from a Single Image’는  단일 2D 이미지로부터 3D 객체를 재구성하는 방법을 제시한다. 기존의 3D 생성 방식들이 볼륨 그리드나 이미지 컬렉션과 같은 규칙적인 표현을 사용했던 것과 달리, 이 연구는 포인트 클라우드 좌표를 직접 출력하는 새로운 접근법을 채택했다는 점에서 독창성을 가진다.

[‘A Point Set Generation Network for 3D Object Reconstruction from a Single Image’ 모델 구조 개요도]

논문의 핵심은 포인트 클라우드 표현 방식과 이를 학습하기 위한 독특한 손실 함수의 설계에 있다. 포인트 클라우드는 기하학적 변환과 변형에 대해 연결성을 업데이트할 필요가 없어 단순한 조작이 가능하다는 장점을 가진다. 또한 복잡한 프리미티브나 조합적 연결 패턴을 인코딩할 필요가 없어 학습이 용이하다는 특징이 있다.

특히 주목할 만한 점은 Earth Mover's Distance(EMD)를 기반으로 한 손실 함수의 도입이다. 이는 동일한 기하학적 형상이 서로 다른 포인트 클라우드 표현을 가질 수 있는 문제를 해결하며, 기존의 L2 타입 손실과는 달리 할당 문제를 효과적으로 해결할 수 있게 한다. 이를 통해 end-to-end 학습이 가능해졌으며, 단일 이미지에서 3D 구조를 복원할 때 발생하는 본질적인 모호성도 다룰 수 있게 되었다.

이 연구의 최종 결과물은 조건부 형상 샘플러로, 입력 이미지로부터 여러 개의 그럴듯한 3D 포인트 클라우드를 예측할 수 있다. 이 모델은 보이는 부분의 깊이를 추정하고 나머지 객체 기하학을 추론하는 능력을 갖추었으며, 여러 가능한 완성 형태를 평가할 수 있다. 실험 결과, 이 접근법은 단일 이미지 기반 3D 재구성 벤치마크에서 기존의 최신 방법들을 능가하는 성능을 보여주었으며, 3D 형상 완성 작업에서도 강력한 성능을 입증했다.

‘ExpansionNetV2’는 이미지 캡션 생성을 위한 새로운 모델로, 입력 시퀀스의 고정된 길이 제한을 극복하기 위해 개발되었다. 이 모델은 기존 어텐션 기반 시스템과 달리 입력 데이터를 확장하여 다양한 시퀀스 길이를 처리할 수 있는 메커니즘을 도입하였다. 이를 통해 고정된 길이 제한을 초월하고, 더 유연하고 효율적인 데이터 처리를 가능하게 하였다.

[‘ExpansionNetV2’  모델 구조]

‘ExpansionNetV2’의 핵심 기술은 Static Expansion과 Dynamic Expansion이다. Static Expansion은 고정된 길이로 확장하여 양방향 처리를 지원하고, Dynamic Expansion은 가변적 길이 확장을 통해 자동 회귀와 양방향 처리를 모두 지원한다. 이 확장 메커니즘은 시퀀스 처리에서 성능 병목 현상을 완화하며, 다양한 길이의 데이터를 효율적으로 다룰 수 있도록 설계되었다.또한, 기존 접근 방식보다 최대 2.8배 빠른 엔드투엔드 학습 전략을 통해 학습 성능과 비용 효율성을 크게 향상시켰다.

모델 구조는 Swin-Transformer 기반의 인코더-디코더 구조로 구성되어 있다. 인코더는 Static Expansion 블록을 사용해 이미지 특징을 추출하고 변환하며, 디코더는 Dynamic Expansion 블록과 교차 어텐션을 활용하여 입력 시퀀스를 처리하고 캡션을 생성한다. 최종 출력은 선형 투영층과 분류 층을 통해 도출된다. 이 과정에서 교차 엔트로피 손실과 CIDEr-D 최적화 손실을 함께 사용하여 높은 품질의 캡션을 생성한다.

성능 평가 결과, ExpansionNetV2는 MS COCO 2014 데이터 세트을 기준으로 오프라인 CIDEr-D 143.7점, 온라인 CIDEr-D 140.8점을 기록하며, 기존 모델보다 빠른 학습 속도와 우수한 성능을 입증하였다. 특히 BLEU, METEOR, ROUGE, CIDEr-D 등 다양한 평가 지표에서 높은 점수를 기록하며 최신 모델들과 비교해 경쟁력을 입증하였다. 또한, 훈련 시간은 기존 모델 대비 최대 2.8배 빠르며, 대규모 데이터 세트을 활용한 생성 모델과 비교해도 훨씬 적은 데이터와 자원으로 높은 성능을 달성하였다.

다만, 새로운 객체나 개념에 대한 일반화 성능은 최신 대규모 사전 학습 기반 모델에 비해 다소 떨어질 수 있다. 그럼에도 불구하고, ExpansionNetV2는 제한된 리소스로도 높은 성능을 요구하는 비전-언어 통합 작업에 적합하며, 학습 효율성과 확장성을 고려한 설계를 통해 이미지 캡션 생성 분야에서 새로운 가능성을 제시한다.