728x90
반응형

vRAM 2

Ollama로 ChatGPT 대체할 수 있을까?—무료 로컬 AI의 현실적인 한계와 가능성

들어가며Ollama를 설치하고 모델도 받았습니다.설치방법 : Ollama 사용 및 언어 모델 설치 방법내 PC 사양에 맞는 모델도 확인했습니다.모델 확인 방법 : 내 PC에서 돌릴 수 있는 AI 모델 찾는 법—CanIRun.ai와 llmfit 완전 가이드그런데 정작 중요한 질문이 남아 있습니다.“이걸로 뭘 할 수 있는 건데?”ChatGPT처럼 쓸 수 있는 건지, 아니면 장난감 수준인 건지. 월 2만 원짜리 유료 구독을 대체할 수 있는 건지, 아니면 그냥 신기해서 한번 돌려보는 정도인 건지.결론부터 말하면 둘 다 맞을 수도 있고, 둘 다 틀릴 수도 있습니다.잘하는 것과 못하는 것이 명확하게 나뉘기 때문입니다.이 글에서는 일반적인 PC(GPU VRAM 8~12GB)에서 돌릴 수 있는 8B~14B 모델 기준으..

내 PC에서 돌릴 수 있는 AI 모델 찾는 법—CanIRun.ai와 llmfit 완전 가이드

들어가며Ollama를 설치하고 나면 가장 먼저 부딪히는 질문이 있습니다. “어떤 모델을 받아야 하지?”설치 방법 참고 : Ollama 사용 및 언어 모델 설치 방법모델 이름 뒤에 붙은 8B, 14B, 32B 같은 숫자가 뭘 뜻하는지도 모르겠고, 무작정 큰 모델을 받았다가 로딩조차 안 되거나 한 글자 나오는 데 10초씩 걸리는 경험을 한 번쯤 해보셨을 수도 있습니다.이유는 간단합니다.모델의 크기가 내 컴퓨터의 GPU 메모리(VRAM)보다 크면 제대로 돌아가지 않습니다. 그래서 내 PC 사양부터 확인하고, 그 사양에 맞는 모델을 골라야 할 필요가 있습니다.이 글에서는 클릭 한 번, 또는 명령어 한 줄로 내 컴퓨터에서 어떤 AI 모델을 돌릴 수 있는지 알려주는 도구 두 가지를 소개하겠습니다.알아두면 좋은 기본..

728x90
반응형