[ ComfyUI ] 이미지에서 프롬프트 생성하기, Image to Prompt

ComfyUI를 사용하여 

이미지에서 프롬프트를 가지고 오는 방법입니다.

 

아래 그림과 같은 이미지가 있다고 가정하겠습니다.

 

이 이미지와 유사한 이미지에서 프롬프트를 생성하면 다음과 같이 출력됩니다.

A young woman with long brown hair, standing in the middle of a cobblestone street in an urban setting, wearing a white button-up shirt and blue jeans. she is smiling and waving her hands in a friendly manner, with a few other people walking in the background. the woman appears to be in her early twenties, and her hair is styled in loose waves, framing her face. her eyes are looking directly at the camera, and she has a bright, cheerful expression. the background features tall buildings with balconies and a few people walking on the street, creating a vibrant and lively atmosphere. the lighting is soft and natural, casting gentle shadows on the woman's face and clothing. the overall mood of the image is joyful and carefree, conveying a sense of warmth and happiness.

 

반응형

 준비하기

 

먼저 Custom-Node 하나를 설치해야 합니다.

설치할 Custom-Mode는 ComfyUI-Florence2입니다.

 

유사한 이름을 가진 노드가 하나 더 있으므로

잘 확인하시고 설치하시면 됩니다.

 

추가로 pythongosssss/ComfyUI-Custom-Scripts를 설치해 줍니다.

 

 

 이미지에서 프롬프트 추출하기

 

먼저 Florence2Run 노드를 불러옵니다.

 

Load Image 노드와 DownloadAndLoadFlorence2Model 노드를 불러와

Florence2Run 노드에 연결합니다.

 

다음 Florence2Run 노드의 caption과 Show Text 노드를 연결합니다.

 

 설정하기

 

이렇게 WorkFlow를 구성하고 난 후 

DownloadAndLoadFlorence2Model 노드에서 model을 하나 선택합니다.

모델을 선택하고 실행하면 해당 모델이 자동으로 설치가 됩니다.

그렇기 때문에 처음 실행할 때는 시간이 조금 더 걸립니다.

 

precision과 attentiond은 직접 해보시고 

자신에게 적합한 것을 찾으면 됩니다.

 

다음은 Florence2Run 노드 설정방법입니다.

task에서 선택 가능한 항목들은 Prompt를 어떤 형태로 생성할 것인지 설정합니다.

more_detailed_caption이나 prompt_gen_으로 시작하는 것을 선택하여 사용하시면 무난합니다.

그 외에 다른 것들도 직접 실행해 보시고 상황에 맞는 것을 사용하시면 됩니다.

 

fill_mask는 Prompt 생성과 직접 관련은 없습니다.

 

keep_model_loaded는 모델을 메모리에 있게 하냐 아니냐인데

계속해서 프롬프트를 생성할 것이라면 True, 

몇 번만 하고 끝내시려면 False

 

max_new_tokens는 출력할 텍스트의 양입니다.

 

num_beams는 출력할 텍스트의 정밀도 정도로 보시면 됩니다.

1~6 사이 값을 넣으시면 되고 6으로 갈수록 묘사가 자세해진다고 합니다.

 

do_sample는 True와 False값을 설정할 수 있으며

True로 설정 시 실행할 때마다 프롬프트가 조금씩 바뀌고

False로 설정 시 거의 일관된 프롬프트가 생성이 됩니다.

 

728x90

 결과 보기

 

WorkFlow는 아래 그림과 같습니다.

 

 

위 이미지를 넣고 출력된 결과를 보면 다음과 같습니다.

A photo-realistic shoot from a frontal camera angle about a woman standing confidently on a cobblestone street during sunset, wearing a camel-colored coat and jeans. the image also shows a woman in the middle of the frame, who appears to be in her mid-twenties, with long brown hair and a neutral expression. she is wearing a beige coat over a white sweater and blue jeans, with a brown crossbody bag slung over her shoulder. the woman is standing with her hands in her pockets, looking directly at the camera with a calm and confident demeanor. her brown hair is styled in loose waves and falls down her back, framing her face. she has a mole on her nose and a mole under her eye. the background features blurred figures of people walking in the distance, and the setting is a city street with buildings and street lamps. the lighting is warm and soft, creating a serene atmosphere.

1girl, long hair, breasts, looking at viewer, brown hair, closed mouth, jewelry, standing, brown eyes, full body, outdoors, cowboy shot, earrings, handbag, necklace, blurry, blurry background, lips, jeans, single hand on own hip, nose, realistic, camel coat

 

생각보다 묘사가 아주 자세히 출력되고

직접 찍은 사진도 프롬프트를 잘 생성해 줍니다.