Ollama와 LM Studio 시작하기

Ollama를 설치했다면 명령 한 줄이면 됩니다. 지난 절에서 8B를 돌릴 수 있다고 계산했다고 해봅시다.

ollama run qwen3:8b

이 한 줄이 전부입니다. 로컬에 없으면 먼저 내려받고, 다 받으면 자동으로 대화로 들어갑니다. 실행 없이 다운로드만 하려면 run을 pull로 바꾸세요. 그 밖에 자주 쓰는 명령입니다.

# 어떤 모델을 내려받았고 각각 용량을 얼마나 쓰는지 확인
ollama list

# 안 쓰는 건 삭제, 로컬 모델은 디스크를 많이 차지한다
ollama rm qwen3:8b

# 현재 VRAM을 점유하고 있는 모델 확인
ollama ps

설치하면 Ollama가 로컬 11434 포트로 서비스를 제공하고, 인터페이스 형식은 OpenAI와 같습니다. 즉 7부에서 작성한 호출 코드에서 base_url만 이쪽으로 돌리면 돌아가고, 모델명에는 태그명을 넣으면 됩니다.

from openai import OpenAI

# 로컬 서비스는 키를 검증하지 않으므로 api_key에는 비어 있지 않은 값을 아무거나 넣으면 된다
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

resp = client.chat.completions.create(
    model="qwen3:8b",
    messages=[{"role": "user", "content": "양자화가 무엇인지 한 문장으로 설명해 줘"}],
)
print(resp.choices[0].message.content)

위 명령의 8b는 예시입니다. 여러분이 실제로 어떤 숫자를 넣어야 하는지는 기기에 따라 다릅니다. 아래에서 골라 보면 그대로 복사해 갈 수 있는 명령이 바로 나옵니다.

콜론 뒤의 문자열은 아무렇게나 붙인 게 아니고, 각 구간에 의미가 있습니다.

여기까지 오면 모델을 쓰는 방식이 세 가지 손에 들어옵니다. 서로 대체 관계가 아니고, 각각의 자리가 있습니다.

이 장은 여기서 끝입니다. 이제 어떤 모델의 개방 수준을 스스로 판단할 수 있고, 작은 모델이 어떻게 만들어지며 그 대가가 무엇인지 알고, 자기 기기에서 직접 돌릴 수 있을 것입니다.