[ Stable Diffusion ] VAE 다운 및 적용 방법

[ 들어가며 ]

 

스테이블 디퓨전에서 VAE를 다운로드 받고 

설정하는 방법을 알아보겠습니다.

 

VAE가 무엇인지 찾아보면

상대적으로 작은 잠재 공간에서 이미지를 인코딩 혹은 디코딩하여 계산 속도를 빠르게 하는 기능

이라고는 하는데....

 

어쨌든 결과적으로

이미지 품질 향상에 도움이 된다고 하니

설치 및 적용하는 방법을 알아보고

VAE를 사용하면 이미지가 어떻게 달라지는 지 확인해 보겠습니다. 

 

[ 파일 다운로드 ]

 

더 많은 VAE 파일은 아래 경로에서 다운로드 받습니다.

1. 실사 이미지에 좋은 VAE 파일 : stabilityai/sd-vae-ft-mse-original at main (huggingface.co)

2. 에니메이션 이미지에 좋은 VAE 파일 : vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main (huggingface.co)

반응형

실사 이미지에 좋은 VAE 파일 다운로드 경로로 들어가셔서

아래 그림에서 표시한 파일을 다운로드 받으시면 됩니다. 

 

에니메이션 이미지에 좋은 VAE 파일 다운로드 경로로 들어가셔서

아래 그림에 표시한 부분을 클릭하셔서 다운로드 받으시면 됩니다.

 

 

[ 다운로드 받은 파일 저장 위치 ]

 

파일을 다운로드 받으셨으면

스테이블 디퓨전이 설치된 폴더의

/models/VAE 폴더에

다운로드 받은 파일을 옮겨 주시면 됩니다.

[ 스테이블 디퓨전 설정 방법 ]

 

이제 스테이블 디퓨전을 실행해 주신 후

[ Settings ]를 눌러주세요

 

메뉴 구성이 저와 조금 다를 수 있습니다.

좌측 메뉴에서

[ User interface ]를 찾아서 클릭해주세요.

 

아래 그림의 빨간색 동그라미를 누르시면

여러개의 리스트가 나타납니다.

여기서 [ sd_vae ]를 찾아 선택해줍니다.

그러면 아래 그림과 같이

[ sd_vae ]가 적용이 됩니다.

보라색 네모 부분과 같이 나타나면 적용이 된 것입니다.

 

그 다음 

[ Apply settings ]를 누르고 [ Reaload UI ]를 눌러

설정을 적용하고 UI를 다시 시작합니다.

 

이제 메인화면으로 와서

확인해보시면

방금 다운 받은 VAE를 선택할 수 있게 변경이 되었습니다.

 

[ VAE 설정에 따른 이미지 차이 알아보기 ]

 

고양이 이미지를 하나 생성하고 비교해 보겠습니다.

이미지 차이는 설명보다는 직접 보시는 것이 나을 것 같습니다.

 

[ 마치며 ]

VAE 설정을 꼭 해야 하냐면

저는 잘 모르겠습니다..;;

어떤 체크포인트에는 이미 VAE가 다 적용되어 있는 것도 있고,

체크포인트만으로 만족할 이미지가 나오는 경우도 많기 때문인데

굳이 하는 이유는

용량도 크게 차지하지 않고, 설정방법이 어렵지 않기 때문에

그냥 설정을 하고 사용을 합니다.

 

어쨌든 사용자가 이것저것 선택해서 할 수 있다는 것은

좋은 점이라고 보기 때문입니다.