Ollama
Ollama · 이미지 · 기타
Ollama는 대규모 언어 모델을 내 컴퓨터에서 돌리는 로컬 AI 실행 환경이다. Gemma 4, Qwen, gpt-oss 같은 오픈 모델을 내려받고, 너무 큰 모델은 클라우드로 대신 실행한다.
Ollama 소개
What Is Ollama
Ollama는 대규모 언어 모델을 내 컴퓨터에서 실행하는 오픈소스 런타임이다. API로 모델을 빌리는 대신 가중치를 한 번 내려받으면 오프라인에서 대화할 수 있다. 명령 하나로 모델을 받아 실행하고, 번거로운 부분은 앱이 처리한다. 양자화 형식, GPU나 Apple Silicon으로의 메모리 분배, 메모리 한도, 그리고 요청에 응답하는 서버 프로세스까지 포함한다.
프로젝트는 2023년 7월에 시작해 빠르게 퍼졌다. 지금은 월 설치 수가 900만 건을 넘고 모델 다운로드는 10억 건을 돌파했다. 2026년에는 Benchmark와 Y Combinator 등에서 8,800만 달러를 조달했고, 노트북에 담기지 않는 모델을 위한 클라우드도 추가했다.
이 클라우드가 먼저 이해해야 할 핵심 선택지다. 로컬 실행은 항상 무료이고 무제한이지만 한계는 하드웨어가 정한다. 7B 모델은 평범한 노트북에서 돌고, 200B 모델은 제대로 된 GPU 머신을 요구한다. 클라우드 모델은 그 천장을 없애고 토큰 단위로 과금한다. 그래서 Ollama는 고른 모델에 따라 무료 로컬 도구이기도 하고, 쓴 만큼 내는 서비스이기도 하다.
Getting Started
- macOS, Windows, Linux용 Ollama를 내려받거나 공식 Docker 이미지를 쓰고 앱을 연다.
ollama pull gemma4:e2b로 모델을 받는다(다운로드는 약 7.2GB). 계정을 만들고 싶지 않으면 설정에서 Local을 고른다.ollama run gemma4:e2b를 실행해 터미널에서 대화하거나,ollama launch claude로 코딩 에이전트를 띄운다.- 내 앱에 넣으려면 로컬 11434번 포트의 REST API로 요청을 보내거나, OpenAI나 Anthropic 클라이언트를 Ollama의 호환 엔드포인트로 돌린다.
- 클라우드 모델을 쓰고 싶을 때 로그인해 키를 만들고, 무거운 요청은 내 머신 밖으로 넘긴다.
제품 정보
Ollama의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 클라우드 비용 없이 오픈 모델을 시험하려는 개발자
- 민감한 글을 다루는 프라이버시 중시 사용자
- 코딩 에이전트를 배포하는 팀
- 모델 계열을 비교하는 연구자
작업
- 오프라인으로 대화 모델 돌리기
- 앱에 AI 기능 넣기
- Modelfile로 대화 동작 조정하기
- 에이전트와 에디터 연결하기
- 모델에서 구조화 데이터 얻기
활용 상황
- 비행기 안의 노트북
- 데이터 규정이 엄격한 회사
- 클라우드 계약 전의 빠른 시제품
- 로컬 에이전트로 코딩하기
주요 기능
명령 하나로 돌리는 로컬 모델
핵심 약속은 한 줄로 끝난다. ollama pull 이 가중치를 받고 ollama run 이 대화를 연다. 양자화와 메모리 분배, 모델 서버는 뒤에서 Ollama가 처리하므로 CUDA 버전과 Python 환경으로 씨름할 일이 없다. 모델은 내장 라이브러리에서 가져오며 Gemma, Qwen, gpt-oss, DeepSeek, Kimi, MiniMax, GLM, Mistral, Nemotron을 아우른다.
토큰 과금 클라우드 모델
모든 모델이 노트북에 들어가지 않는다. 그래서 Ollama는 NVIDIA 클라우드 사업자의 하드웨어에서 큰 오픈 모델을 돌리는 클라우드를 더했다. 요금은 100만 토큰당이고, 평일 업무 시간 밖에는 값을 거의 절반으로 낮추는 오프피크 요금이 붙는다. 무료 계정에는 시작 크레딧이 주어지고 유료 플랜에는 매달 크레딧이 포함된다.
REST API와 OpenAI 호환
로컬 모델은 모두 11434번 포트에 HTTP 서버를 띄우므로 어떤 언어로든 호출할 수 있다. Ollama는 OpenAI의 Chat Completions와 Responses, 그리고 Anthropic Messages 형식도 처리한다. 그 API를 위해 만든 도구라면 베이스 URL만 바꿔 동작하고, 대개 코드는 손대지 않아도 된다.
Apple Silicon의 MLX 엔진
Mac에서는 지원 모델을 번역된 런타임 대신 Apple의 MLX 프레임워크로 돌린다. 이 전환은 2026년에 큰 속도 향상을 가져왔고, 그중 다중 토큰 예측은 코딩 에이전트에서 최대 90% 빨라졌다고 회사가 측정했다. 메모리 사용도 줄었는데, RAM이 단단한 한계인 통합 메모리 Mac에서는 중요한 차이다.
에이전트와 데스크톱 연동
ollama launch claude, ollama launch codex 같은 명령이 코딩 에이전트를 내 모델에 연결한다. 데스크톱에서는 Claude와 ChatGPT(Desktop)를 Ollama로 돌릴 수 있어, Muse Glimmer나 Nemotron 같은 모델을 이미 쓰는 도구 안에서 활용한다.
Modelfile과 모델 생성
Modelfile은 커스텀 모델을 정의하는 짧은 레시피로, 베이스 가중치와 시스템 프롬프트, 파라미터, 템플릿을 담는다. ollama create 로 만들면 정의가 모델과 함께 다니므로, 공유한 지침이 흩어진 메모 대신 팀 전체에서 같은 상태로 유지된다.
임베딩과 구조화 출력
Ollama는 EmbeddingGemma 같은 임베딩 모델을 실행해 검색이나 군집화에 쓸 벡터를 돌려준다. format 파라미터는 JSON 스키마를 받아 모델이 타입이 있는 객체로 답하게 한다. 이렇게 하면 자유 문장이 형태를 추측하지 않고 읽을 수 있는 데이터로 바뀐다.
결정 모델
최근 릴리스에는 문장 대신 선택지와 점수, 확률을 돌려주는 결정 모델이 더해졌다. TypeSafe의 Jev API를 기반으로 하며 티켓 분류나 콘텐츠 분류 같은 작업에 맞는다. Ollama는 여느 대화 모델 옆에 전용 엔드포인트로 이 모델들을 실행한다.
장단점
장점
- 로컬 모델은 무료이자 무제한이며, 계정도 키도 인터넷 연결도 필요 없다.
- 설치가 명령 하나이고 내장 라이브러리가 환경 설정 수고를 덜어준다.
- REST API와 OpenAI, Anthropic 호환 엔드포인트 덕에 기존 클라이언트는 URL만 바꿔 넘어온다.
- MLX를 통한 Apple Silicon 지원은 Mac 사용자에게 큰 속도 향상을 준다.
- 클라우드 모델을 쓰면 GPU 없이도 큰 오픈 모델을 돌린다.
단점
- 로컬 성능은 하드웨어에 매여 있어, 큰 모델은 제대로 된 VRAM을 요구하고 노트북은 버거워한다.
- 클라우드 요금이 모델과 시간대에 따라 달라져 월 청구액을 예측하기 어렵다.
- 여러 모델 동시 실행 같은 고급 클라우드 기능은 무료 플랜에서 동시 실행 수 한도로 제한된다.
- 모델 라이브러리는 넓지만 Hugging Face나 대형 클라우드 사업자의 전체 라인업보다는 작다.
자주 묻는 질문
Ollama는 오픈 대규모 언어 모델을 내 컴퓨터나 클라우드에서 실행하는 런타임이다. 모델을 내려받고 로컬 서버를 띄워, 명령줄과 데스크톱 앱, API로 다룰 수 있게 한다.
관련 콘텐츠
Ollama와 관련된 도구, 스킬, 아티클을 살펴보세요.
Ollama 대안
X Ray Interpreter
X-ray Interpreter · 이미지X Ray Interpreter는 X선, CT, MRI, 초음파, PET 이미지를 쉬운 말의 리포트로 바꾸는 웹 기반 AI 영상의학 도구다. 스캔 이미지를 올리면 X선 예비 판독 결과가 곧바로 나오고, 설명이 필요한 부분이 있으면 이후에 추가 질문도 할 수 있다. 이 도구의 위치는 2차 소견과 학습 보조이며, 의료 진단은 아니다.
Aieasypic
AIEasyPic · 이미지AIEasyPic은 단순한 텍스트 프롬프트를 몇 초 만에 완성된 예술 작품으로 바꾸는 AI 이미지 생성기다. 자신의 사진으로 맞춤 모델을 훈련하고, 기존 이미지에서 얼굴을 바꾸고, 텍스트로 짧은 영상 클립을 만들 수도 있다. 모두 브라우저에서 끝난다. 빠른 비주얼을 원하는 가벼운 창작자에게도, 코드를 전혀 건드리지 않고 개인 모델을 만들고 싶은 취미 사용자에게도 어울린다.
Chargen
Chargen · 이미지Chargen은 던전 앤 드래곤과 다른 탁상용 롤플레잉 게임을 위해 만든 AI 캐릭터 생성기이자 세계관 구축 툴킷이다. 한 줄 아이디어를 그려진 캐릭터 초상화로 바꾸고, 같은 세션에서 NPC, 몬스터, 지도, 조우를 만들어내며, 모든 생물의 세부 정보를 손 가까이에 둔다. 탁상용 롤플레잉 아트 부분은 Gold라는 크레딧 시스템으로 돌아가고, 텍스트 생성기는 모두에게 무료로 남는다.