Electronics · 2025 · 14(23), 4710Virtual Try-On
Clothing-Agnostic Pre-Inpainting Virtual Try-On
- 문제
- 긴팔 인물을 반팔·민소매로 바꿔 입힐 때 원래 소매의 실루엣이 결과에 남고, 새로 드러나는 팔 피부가 부자연스럽게 생성되는 문제를 다룹니다.
- 기존 방법의 한계
- 비교 모델 Leffa는 확산 모델의 질감 왜곡을 줄였지만, 하의 영역 검출이 부정확하고 기존 의류의 실루엣이 합성 결과에 남는 한계가 있었습니다.
- 방법
- DressCode 기반 다중 범주 마스킹으로 기존 의류 영역 전체를 지우고, Stable Diffusion 기반 피부 영역 복원(Skin Inpainting)으로 드러날 피부를 가상 피팅 전에 먼저 그립니다. 전처리 단계라 특정 가상 피팅 모델에 묶이지 않습니다.
- 확인한 것
- 시각 평가에서 기존 모델들과 달리 참조 의류의 소매 길이·무늬·스타일을 일관되게 재현했습니다.
논문에서 보고한 반팔 합성 정확도는 92.5%로, 비교 모델 Leffa의 77.1%보다 15.4%p 높았습니다. 논문 초록과 결론에 실린 수치이며, 긴팔 인물에 반팔 의류를 합성한 결과를 CLIP 모델이 자동으로 판정해 반팔로 분류된 비율입니다. 가상 피팅 전반의 정확도나 화질을 뜻하지 않습니다.
