[ LLM ] ChatGPT와 같은 언어 모델을 무료로 사용하기: Ollama 사용 및 언어 모델 설치 방법

Ollama 소개

 

Ollama를 간단히 소개하면
우리한테 익숙한 ChatGpt 같은 대형 언어 모델(LLM)을
개인 PC에서 실행할 수 있도록 하여
AI 모델을 직접 사용자 장치에서 실행하게 해주는 것입니다.

Ollama는 이런 대화형 언어 모델을
개인용 PC에서 실행할 수 있어
더 빠른속도와 데이터의 보안을 제공할 수 있습니다.

물론 그 성능이나 제공하는 서비스가
ChatGpt와 같은 것과 그 수준을 같이 한다고 볼 수는 없지만,
사용하기에 따라 많은 도움을 받을 수 있을 것으로 보입니다.

Ollama를 설치하고
여기서 제공하는 대화형 언어 모델(LLM)을 설치하고 사용하는 방법을
간단히 알아보겠습니다.

 

 Ollama 설치하기

 

Ollama를 설치하는 방법은 간단합니다.

먼저 아래 사이트에 접속합니다.
아래 사이트는 Ollama 공식 사이트입니다.

https://ollama.com/

첫 화면은 아래 그림과 같이 되어 있습니다.

파란색 네모를 보시면
MacOs, Linux와 Windows 모두 지원을 한다고 하며
저는 Windows 환경에서 설치하고 실행해 보겠습니다.

위 그림에서 빨간색 네모의 다운로드를 누르시면
아래와 같이 화면이 나타납니다.

여기서 자신에게 맞는 운영체제를 선택하신 후
빨간색 네모의 다운로드 버튼을 누르시면
파일을 하나 다운로드합니다.

이 파일을 그냥 실행 후 Install 버튼을 누르면
별다른 절차 없이 자동으로 설치가 됩니다.

728x90

 모델 설치하기

 

Ollama 홈페이지에 접속해서
우측 상단을 보시면 아래 그림과 같이 화면이 보이실 겁니다.

여기서 Models를 선택합니다.

전 맨 위에 있는 llama3.1 모델을 설치해보려 합니다.
llama3.1을 클릭해서 들어가면
아래와 같이 화면이 나타납니다.

우선 모델이 8B, 70B, 405B 모델이 있습니다.

우선 제 컴퓨터 사양은 아래와 같습니다.

CPU : i9-13900k
GPU : RTX 4070Super
RAM : 32GB

 

테스트 결과 70B 모델을 돌렸다가는
타버릴지도 모르겠다는 생각이 들어 포기했습니다.

돌아는 가는데
느낌이 자동차 1단으로 풀액셀 밟는 느낌입니다.
컴퓨터는 열심히 일하는 것 같은데
느립니다.

어쨌든 삭제도 쉬운 편이니 테스트해보실 분들께서는 한 번쯤 해보셔도 나쁘진 않아 보입니다.

다시 돌아와서 8B 모델도 용량이 4.7GB입니다.

설치하는 방법입니다.
먼저 명령 프롬프트를 실행해 줍니다.
아래 그림과 같이
CMD를 입력하면 찾을 수 있습니다.

 

반응형

 

그다음 아까 홈페이지에서 보았던 화면에서
아래 그림의 파란색 동그라미 부분을 눌러 명령을 복사합니다.

그 다음 명령 프롬프트에 그대로 복사하고
Enter를 누르면 자동으로 설치가 됩니다.

위 화면은 70B 모델을 설치하고 있는 화면이고
맨 아래에 8B 모델을 설치하는 명령을 입력했지만,
이미 설치를 했기 때문에
실행이 되는 모습입니다.

 

 실행해 보기

 

설치가 완료되면 자동으로 실행이 되지만,
종료 후 다시 실행하려면
설치할 때 사용했던 명령을 그대로 사용하시면 됩니다.

간단한 구동화면입니다.

한글을 지원은 하지만
오타도 보이긴 합니다.

대화에서 나가고 싶다면
/bye를 입력하면 대화가 종료됩니다.

 마치며

 

이 외에도 해당 사이트에서
여러 가지 모델을 다운로드하여 사용해 볼 수 있습니다.

모델마다 각각의 장점이 있으니,
모델의 설명을 잘 읽어보시면
본인의 성향과 상황에 맞는 모델을 찾으실 수 있을 겁니다.

또한, 이렇게 콘솔이 아닌
GUI 환경에서도 사용이 가능하고
웹 환경에서도 사용이 가능하게 변경할 수도 있습니다.

명령 프롬프트 창이 아닌 ChatGpt와 같은 WebUI 환경에서 사용하시려면 아래 링크를 클릭해보세요

[ WebUI 환경에서 LLM 사용하기 ]