이번 블로그에서는 flux에서 lora를 사용하는 방법을 알아보겠습니다.
사용할 lora는 flux의 배경을 조금 더 선명하게 해주는 lora를 사용하여
lora의 사용법을 설명하겠습니다.
기본 workflow 참고 : 기본 노드 구성
준비하기
모델은 빠른 생성을 위해 dev-gguf-q8을 사용하겠습니다.
GGUF 모델에 대한 설명은 링크를 참고하시면 됩니다.
[ ComfyUI ] ComfyUI FLUX-GGUF 사용하기, Flux를 가볍게 사용하기
Custom-Node는 rgtrees's ComfyUI Nodes를 설치하시면 됩니다.
해당 노드를 설치하지 않는다고 해서
lora 적용이 되지 않는 것은 아니지만,
여러 면에서 다양한 기능을 제공하는 custom-node이기 때문에
설치하시는 것을 권장합니다.
사용할 Lora는 아래 링크에서 다운로드합니다.
다운로드한 lora 파일은
ComfyUI\models\loras
폴더에 복사하시면 됩니다.
결과 확인하기
먼저 Flux의 배경을 조금 더 선명하게 해 주는 lora를 적용하였을 때
이미지가 어떻게 달라지는지 결과를 보겠습니다.
왼쪽 이미지를 lora를 적용하지 않은 이미지이고
오른쪽 이미지는 lora를 적용한 이미지입니다.
flux로 이미지를 생성하면 배경이 흐리게 나타나는 경향이 있는데
이 배경을 조금 더 선명하게 해 주는 lora를 사용할 것입니다.
WorkFlow 구성하기
먼저 블로그 도입부의 링크를 참고하여 기본 WorkFlow를 구성합니다.
이다음 노드를 하나 추가해 줍니다.
앞서 설치했던 rgtrees's ComfyUI Nodes에서 제공하는
Power Lora Loader(rgthree) 노드를 추가해 줍니다.
해당 Custom-node를 설치하지 않으셨다면
기본으로 제공되는 Load LoRA 노드를 사용하시면 됩니다.
그다음 Model과 Clip을 Power Lora Loader에 연결해 주시고
Power Lora Loader의 출력 CLIP은 CLIPTextEncodeFlux에
Power Lora Loader의 출력 MODEL은 각각 BasicGuider, BasicScheduler에 연결해 줍니다.
그 다음 Power Lora Loader에서 Add Lora를 클릭하여
다운로드한 Lora를 선택해 줍니다.
아래 그림처럼 Lora를 선택하고, Lora의 가중치를 선택할 수 있게 됩니다.
저는 가중치를 1.3 정도로 설정했습니다.
이 방법으로 하시면 여러 개의 Lora를 한 번에 여러개 선택도 가능합니다.
이미지 비교해 보기
Lora가 적용된 WorkFlow와 적용되지 않은 WorkFlow를 만들어
각각의 이미지가 어떻게 다른지 Image Comparer 노드를 통해 확인해 보겠습니다.
Image Comparer노드는 두 이미지가 어떻게 다른 지 비교할 수 있게 하는 노드로
위에서 말씀드린 rgtrees's ComfyUI Nodes를 설치하시면 사용할 수 있습니다.
다음은 생성된 이미지를 Image Comparer노드를 통해 비교한 이미지입니다.
'IT정보 > AI(이미지, LLM 등)' 카테고리의 다른 글
[ ComfyUI ] 이미지의 원하는 부분만 바꾸기, Flux Inpainting 기초 (0) | 2024.12.23 |
---|---|
[ ComfyUI ] 이미지에서 프롬프트 생성하기, Image to Prompt (0) | 2024.12.19 |
[ ComfyUI ] FLUX 이미지 생성 시 Sampler 및 Scheduler 선택 방법 (0) | 2024.12.17 |
[ ComfyUI ] FLUX 프롬프트 쉽게 입력하기, Flux Prompt Generator (0) | 2024.12.09 |
[ ComfyUI ] ComfyUI FLUX-GGUF 사용하기, Flux를 가볍게 사용하기 (2) | 2024.12.01 |