IT정보/AI(이미지, LLM 등)

[ ComfyUI ] Flux에서 Lora 사용하기, Flux의 배경을 조금 더 선명하게 하기

카루루1007 2024. 12. 18. 11:50
728x90
반응형

이번 블로그에서는 flux에서 lora를 사용하는 방법을 알아보겠습니다.

사용할 lora는 flux의 배경을 조금 더 선명하게 해주는 lora를 사용하여

lora의 사용법을 설명하겠습니다.

 

기본 workflow 참고 : 기본 노드 구성

 

반응형

 준비하기

 

모델은 빠른 생성을 위해 dev-gguf-q8을 사용하겠습니다.

GGUF 모델에 대한 설명은 링크를 참고하시면 됩니다.

[ ComfyUI ] ComfyUI FLUX-GGUF 사용하기, Flux를 가볍게 사용하기

 

Custom-Node는 rgtrees's ComfyUI Nodes를 설치하시면 됩니다.

 

해당 노드를 설치하지 않는다고 해서

lora 적용이 되지 않는 것은 아니지만,

여러 면에서 다양한 기능을 제공하는 custom-node이기 때문에

설치하시는 것을 권장합니다.

 

사용할 Lora는 아래 링크에서 다운로드합니다.

로라 다운로드

 

다운로드한 lora 파일은 

ComfyUI\models\loras

폴더에 복사하시면 됩니다.

 

 결과 확인하기

 

먼저 Flux의 배경을 조금 더 선명하게 해 주는 lora를 적용하였을 때

이미지가 어떻게 달라지는지 결과를 보겠습니다.

 

왼쪽 이미지를 lora를 적용하지 않은 이미지이고

오른쪽 이미지는 lora를 적용한 이미지입니다.

 

flux로 이미지를 생성하면 배경이 흐리게 나타나는 경향이 있는데

이 배경을 조금 더 선명하게 해 주는 lora를 사용할 것입니다.

 

 WorkFlow 구성하기

 

먼저 블로그 도입부의 링크를 참고하여 기본 WorkFlow를 구성합니다.

 

이다음 노드를 하나 추가해 줍니다.

앞서 설치했던 rgtrees's ComfyUI Nodes에서 제공하는

Power Lora Loader(rgthree) 노드를 추가해 줍니다.

 

해당 Custom-node를 설치하지 않으셨다면

기본으로 제공되는 Load LoRA 노드를 사용하시면 됩니다.

 

그다음 Model과 ClipPower Lora Loader에 연결해 주시고

Power Lora Loader의 출력 CLIPCLIPTextEncodeFlux

Power Lora Loader의 출력 MODEL은 각각 BasicGuider, BasicScheduler에 연결해 줍니다.

 

그 다음 Power Lora Loader에서 Add Lora를 클릭하여 

다운로드한 Lora를 선택해 줍니다.

 

아래 그림처럼 Lora를 선택하고, Lora의 가중치를 선택할 수 있게 됩니다.

저는 가중치를 1.3 정도로 설정했습니다.

 

이 방법으로 하시면 여러 개의 Lora를 한 번에 여러개 선택도 가능합니다.

 

728x90

 이미지 비교해 보기

 

Lora가 적용된 WorkFlow와 적용되지 않은 WorkFlow를 만들어

각각의 이미지가 어떻게 다른지 Image Comparer 노드를 통해 확인해 보겠습니다.

 

Image Comparer노드는 두 이미지가 어떻게 다른 지 비교할 수 있게 하는 노드로

위에서 말씀드린 rgtrees's ComfyUI Nodes를 설치하시면 사용할 수 있습니다.

 

다음은 생성된 이미지를 Image Comparer노드를 통해 비교한 이미지입니다.

 

Flux_Lora_BasicWorkFlow.json
0.01MB

728x90
반응형