이미지 합성 _ diffusion 모델 사용하기

-조명을 합성할 위치가 추천되면 그 위치에 조명을 자연스럽게 합성하는 방법?

목표ㅣ 입력한 조명 이미지가 최대한 변형되지 않으면서 자연스럽게 합성되는 것

=>diffusion 모델 활용: 3가지 방법 시도

---

 

1. Paint by Example: Exemplar-based Image Editing with Diffusion Models

 

-git 주소 : Fantasy-Studio/Paint-by-Example: Paint by Example: Exemplar-based Image Editing with Diffusion Models

GitHub - Fantasy-Studio/Paint-by-Example: Paint by Example: Exemplar-based Image Editing with Diffusion Models

-실행 코드:

Paint by Example.ipynb

0.29MB

 

 

 

-배경의 mask만 필요(입력 데이터: 배경 이미지, 배경 mask, 조명 이미지)

-그나마 원본 조명의 변형 정도가 가장 적어서 3가지 방법 중에는 best

-자연스러운 합성은 (+)

 

-예시:

 

 

 

 

---

 

2. TF-ICON: Diffusion-Based Training-Free Cross-Domain Image Composition (ICCV 2023)

 

-git 주소 : Shilin-LU/TF-ICON: [ICCV 2023] "TF-ICON: Diffusion-Based Training-Free Cross-Domain Image Composition" (Official Implementation)

GitHub - Shilin-LU/TF-ICON: [ICCV 2023] "TF-ICON: Diffusion-Based Training-Free Cross-Domain Image Composition" (Official Implem

 

-실행 코드:

TF-ICON.ipynb

0.16MB

 

 

 

-입력 데이터 : prompt(이미지에 대한 설명), 배경 이미지, 배경 mask, 조명 이미지, 조명 mask=> 많은 데이터 필요

-원본 조명의 변형 ↑

-무엇보다 text based라서 prompt의 영향을 많이 받음

 

-예시: 

 

---

 

3. ControlCom: Controllable Image Composition using Diffusion Model

 

-git 주소 : bcmi/ControlCom-Image-Composition: A controllable image composition model which could be used for image blending, image harmonization, view synthesis.

GitHub - bcmi/ControlCom-Image-Composition: A controllable image composition model which could be used for image blending, image

 

-실행 코드 :

composition.ipynb

0.02MB

 

 

 

-변형이 가장 덜한 방법은 맞지만, 단순 합성이라 자연스러운 효과는 (-)

-조명 객체의 mask가 필요 (-)

 

-예시:

---