Llama

모델 가중치를 내려받을 수 있어, 남의 클라우드를 빌리는 대신 Llama를 자기 기기에서 실행할 수 있다. 데이터가 네트워크를 벗어날 수 없을 때, 또는 실행 환경을 완전히 통제하고 싶을 때 중요하다. 하드웨어와 유지보수가 자기 몫이라는 뜻이기도 하다.

Llama는 여러 크기로 나온다. 소비자용 GPU 한 장에 들어가는 작은 모델부터 서버가 필요한 큰 모델까지 있다. 고정된 선택지 하나를 받아들이는 대신, 자기 하드웨어와 정확도 요구에 맞는 크기를 고른다. 작은 버전은 실행 비용이 낮다. 큰 버전은 어려운 작업에서 추론을 더 잘하고, 프롬프트가 엉키거나 작업이 여러 단계의 논리를 이어 붙일 때 그 격차가 벌어진다.

최신 Llama 버전은 여러 언어를 이해하고 텍스트와 함께 이미지도 처리한다. 차트나 스크린샷, 사진에 대해 질문하면 텍스트 답을 받는다. 지원 범위는 버전마다 다르니, 이미지 입력에 의존하기 전에 해당 모델 카드를 확인한다.

자체 데이터로 Llama를 미세 조정하거나, 큰 버전을 더 저렴하게 도는 작은 버전으로 증류할 수 있다. 팀이 범용 모델을 지원 티켓 분류 같은 좁은 업무에 맞추는 방식이 이것이다. 라벨이 붙은 데이터가 필요하다. 연산 자원도 필요하다. 주말에 끝낼 프로젝트가 아니다.

직접 아무것도 실행하고 싶지 않다면, 여러 제공자가 API로 Llama를 서비스한다. 엔드포인트를 호출하고 토큰 단위로 지불하면 되니 GPU 관리보다 단순하다. 대가는 데이터가 가는 곳을 통제하는 힘을 일부 포기한다는 점이다.

Ollama, llama.cpp, vLLM 같은 인기 도구가 Llama를 기본으로 지원한다. 로컬에서 서비스하거나 기존 애플리케이션에 끼워 넣을 때, 스택의 절반을 다시 쓰지 않고도 처음부터 시작하지 않아도 된다.