IT정보/AI(이미지, LLM 등)

[ ComfyUI ] ComfyUI에서 FLUX Dev 기본 사용 방법, 노드 구성

카루루1007 2024. 12. 1. 00:08
728x90
반응형

FLUX는 매우 뛰어난 이미지를 생성해 줍니다.

이번 블로그에서는 COMFYUI에서 FLUX 모델을 사용하는 방법을

간단하게 알아보겠습니다.

 

 준비사항

 

FLUX의 기본 버전은 Pro, Dev, Schnell 버전이 있습니다.

Pro부터 순서대로 성능이 좋습니다.

이 중 무료로 사용할 수 있는 모델Dev, Schnell 버전이 있으며,

두 버전 모두 크게 사용 방법이 다르지 않으므로,

Dev 버전을 중심으로 작성하겠습니다.

 

먼저 파일 세 종류를 다운로드하여야 합니다.

HuggingFaceFace 사이트에 로그인이 필요할 수 있습니다.

 

1. Flux Dev 버전 : 다운로드

 

다운로드 후 아래 경로에 복사합니다.

ComfyUI/models/diffusion_models/ 

 

2. CLIP : 다운로드

 

다운로드 후 아래 경로에 폭사합니다.

ComfyUI/models/clip/

 

3. VAE : 다운로드

 

다운로드 후 아래 경로에 복사합니다.

ComfyUI/models/vae/

 

 ComfyUI 노드  구성하기

 

이미지를 생성하기 위해 간단한 노드를 만들어 보겠습니다.

 

우선 기본이 되는 노드 세 개를 불러온 다음 아래 그림과 같이 설정합니다.

 

Load Diffusion Model과 Load VAE 노드는 위와 동일하게 구성하시면 됩니다.

DualCLIPLoader에서 clip_name1은 동일하게 선택하시고

clip_name2를 선택하시면 됩니다.

위에 링크에서 CLIP을 모두 다운로드하셨으면 아래 그림과 같이 보이실 텐데,

복잡하게 생각하실 것 없이 FP16이 FP8 보다 성능이 좋은 대신 자원 소모가 많다고 보시면 됩니다.

램이 32GB 미만이면 FP8을 추천하나, 직접 사용해 보시고 맞추시면 됩니다.

 

반응형

다음 SamplerCustomAdvanced를 불러와 줍니다.

중심이 되는 노드입니다.

 

RandomNoise를 연결합니다.

 

BasicGuider를 연결해 주고, BasicGuiderLoad Diffusion Model과 연결합니다.

 

다음 BasicGuiderCLIPTextEncoderFlux를 연결합니다.

 

그다음 CLIPTextEncoderFluxDualClipLoader를 연결합니다.

 

그다음 SamplerCustomAdvancedKsamplerSelect, BasicScheduler, Empty Latent Image 노드를 연결합니다.

 

BasicScheduler노드는 Load Diffusion Model과 연결합니다.

 

SamplerCustomAdvanced 노드와 VAE Decode 노드를 연결하고, 

VAE Decode 노드와 처음에 추가했던 Load VAE 노드를 연결합니다.

 

마지막으로 VAE Decode 노드에 Preview Image 노드를 연결해 줍니다.

 

 이미지 생성하기

 

먼저 아래 그림과 같이 설정하였습니다.

 

입력한 프롬프트는 다음과 같습니다.

A close-up portrait of a man in a room with a light-colored wall. He is wearing a floral shirt with red flowers and green leaves on a dark background. The man has short, dark hair and a light beard. His expression is neutral, and he is looking directly at the camera. The room has a window with white curtains, and there are several framed pictures hanging on the wall. The overall style of the image is candid and relaxed, capturing a moment of casualness.

 

프롬프트 작성이 어려우시면 civitai 사이트에서

다른 분들이 먼저 생성한 이미지에서 프롬프트를 복사하면서 생성해 보시면 됩니다.

 

이제 실행을 하면 아래 그림과 같이 이미지가 생성이 됩니다.

이미지를 저장하고 싶다면 Preview Image 노드가 아닌

SaveImage 노드를 사용하시면 됩니다.

 

728x90

 설정값 조정하기

 

위 WorkFlow에서 설정값을 수정해 볼만한 것들입니다.

CLIPTextEncodeFlux에서 guidance 값을 설정해 보세요.

낮을수록 자기 마음대로

높을수록 프롬프트에 충실하게 이미지를 생성한다고 합니다.

 

다음 KSamplerSelect의 Sampler와

BasicScheduler의 Scheduler 그리고 steps 값을 수정해 보세요.

 

그리고 이미지 사이즈가 바뀌어도 생성되는 그림이 바뀝니다.

 

 참고사항

 

제 컴퓨터 사양입니다.

CPU : i9-13900k

RAM : 32GB

VGA : RTX4070 SUPER

 

t5xxl_fp16 CLIP을 사용하여 이미지 10장을 생성했을 때

맨 처음 이미지 생성 시간은 144초

그 뒤의 9장 이미지는 한 장당 대략 50초 정도 시간이 소요되었습니다.

 

첫 이미지는 모델을 불러와야 하기 때문에 시간이 더 걸리니

대략 50초 정도의 시간이 소요된다고 보시면 될 것 같습니다.

flux_dev_Basic_WorkFlow.json
0.01MB

 

728x90
반응형