[ ComfyUI ] 인공지능으로 이미지 자동 생성, 인공지능 프롬프트 자동 생성

최근 대규모 언어 모델(LLM)이 빠르게 발전하고 있습니다.

ComfyUI에서도 이런 대규모 언어모델(LLM)을 사용할 수 있습니다.

 

프롬프트 입력을 인공지능이 자동으로 하고 이미지를 생성하게 하는 방법을 알아보겠습니다.

 

 

 준 비 사 항 

 

1. ollama 설치

2. 사용 모델 설치

3. ComfyUI Custom Node 설치

 

 ollama 설치

 

ollama 설치는 이전 포스팅을 참고하시면 됩니다.

 [ LLM ] ChatGPT와 같은 언어 모델을 무료로 사용하기: Ollama 사용 및 언어 모델 설치 방법

[ LLM ] ollama 모델 설치 폴더 변경하기

반응형

 모델 다운로드하기

 

몇 번 테스트를 해보니 llama3.1이나 gemma2 등 어느 것을 사용해도 작동은 됩니다.

다만, 앞으로 설치할 노드를 개발한 개발자는 

아래 모델들을 추천하고 있습니다.

 

윈도우 + R 키를 실행창에서 CMD를 입력하여

명령 프롬프트 창을 실행해 줍니다.

ollama가 설치되어 있는 상태에서

아래 명령을 명령프롬프트 창에 입력하시면 모델 다운로드가 가능합니다.

https://huggingface.co/impactframes/llama3_if_ai_sdpromptmkr_q4km

https://huggingface.co/impactframes/ifai_promptmkr_dolphin_phi3_gguf

 

 Custom Node 설치하기

 

먼저 아래의 workflow파일을 다운로드하신 후

ComfyUI를 실행해 주세요

그리고 해당 파일을 ComfyUI 실행 화면으로 드래그하면 아래 그림과 같은 workflow 확인이 가능합니다.

가장 쉽게 사용할 수 있는 workflow입니다.

728x90

ollama.json

0.01MB

 

workflow를 확인하시면 처음에는 빨간색 네모가 나올 수 있습니다.

그때 ComfyUI Manager을 실행하신 후 

Install Missing Custom Nodes를 클릭하신 후

모두 Install 하신 다음 ComfyUI를 재시작하시면 됩니다.

 

 참 고 사 항

 

우선 IF Prompt to Prompt 노드에서 한글로 입력을 해도

긍정 프롬프트와 부정 프롬프트를 어느 정도는 영어로 잘 뽑아줍니다.

저처럼 영어가 약하신 분들도 쉽게 사용이 가능해 보입니다.

 

현재 무료로 사용가능한 대규모 언어모델을 다운로드하여 바꿔가며 테스트를 해보고 있으나,

그림의 품질은 크게 차이가 없어보이긴 합니다.

다만 제작자가 추천해준 모델들은 프롬프트가 더 정교하게 입력되는 것 같습니다.

아무래도 프롬프트가 더 정교하다면, workflow를 잘 구성하면 구성할수록

좋은 결과가 나올 가능성이 높아지겠지요.

 

아래는 해당 Custom Node의 Github 주소입니다.

if-ai/ComfyUI-IF_AI_tools: ComfyUI-IF_AI_tools is a set of custom nodes for ComfyUI that allows you to generate prompts using a local Large Language Model (LLM) via Ollama. This tool enables you to enhance your image generation workflow by leveraging the power of language models. (github.com)

GitHub - if-ai/ComfyUI-IF_AI_tools: ComfyUI-IF_AI_tools is a set of custom nodes for ComfyUI that allows you to generate prompts