Meta Notebook Llama

Meta Llama란

Meta Llama는 누구나 가중치를 내려받아 실행할 수 있는 언어 모델군이다. 2023년에 시작해 지금은 Llama 4 Scout, Llama 4 Maverick, 그리고 Llama 3.3 70B와 Llama 3.1 405B 같은 이전 세대 텍스트 모델까지 아우른다. 학습과 가중치 공개는 Meta가 맡고, 운영은 사용자 몫으로 남는다.

이 분업이 핵심이다. 오픈 웨이트 AI 모델은 모델 파일을 내 인프라 안에 둔다. GPU, 양자화, 컨텍스트 길이, 시스템 프롬프트를 직접 정한다. 밖으로 보내지 않는 한 트래픽은 자사 네트워크를 벗어나지 않는다.

대신 운영 부담을 떠안는다. 관리 콘솔도, 토큰 과금 계량기도 없다. 하드웨어를 준비하고 추론 서버를 띄우고 메모리를 감시하고 업데이트를 처리해야 한다. Meta는 2026년 7월 6일 자체 호스팅 Llama API도 종료했기 때문에, 호스팅 형태의 이용은 Together AI나 Fireworks, 또는 자사 클라우드 계정을 거친다.

시작하는 방법

1. llama.com이나 Hugging Face의 Meta Llama 페이지에서 접근을 신청하고 라이선스에 동의한다. 승인은 보통 빠르고, 같은 이메일로 등록한 Hugging Face 계정이 필요하다.
2. 모델은 순위표가 아니라 보유 하드웨어를 기준으로 고른다. Scout는 4비트 양자화로 80GB GPU 한 장에 들어간다. Maverick은 여러 장이 필요하다. Llama 3.3 70B는 그 사이다.
3. 추론 서버를 세운다. 처리량이 중요하면 vLLM, 노트북과 소형 장비에는 llama.cpp나 Ollama, 전부 Nvidia로 맞춘 환경에는 TensorRT-LLM을 쓴다.
4. 내 프롬프트로 먼저 시험한다. 실제 업무에서 뽑은 작업 20개가 공개 벤치마크보다 판단에 도움이 된다.
5. 미세 조정하거나 그대로 배포한다. 도메인 적응은 대부분 LoRA 어댑터로 해결된다. GPU를 피하고 싶다면 같은 가중치를 제공하는 외부 엔드포인트를 클라이언트에 연결하면 된다.