AI 제품

llama.cpp, v1.0.0을 찍고 인터페이스 안정성을 약속했다

ggml-org 팀이 11월 13일 llama.cpp와 ggml을 v1.0.0으로 올렸다. 새 기능보다 눈에 띄는 것은 앞으로 공개 인터페이스를 예고 없이 깨지 않겠다는 약속이다.

김민준김민준
인기 지수: 1,200
받침대 위에 층층이 쌓인 라이브러리와 그 위에 잠긴 버전 태그, 위에서 흘러드는 데이터 흐름

ggml-org 팀이 11월 13일 llama.cpp와 ggml을 v1.0.0으로 올렸다. 새 기능보다 눈에 띄는 것은 앞으로 공개 인터페이스를 예고 없이 깨지 않겠다는 약속이다.

llama.cpp와 ggml이 11월 13일 v1.0.0이 됐다

Hugging Face 블로그에 올라온 글의 저자는 Daniel Bevenius, Georgi Gerganov, merve다. 두 라이브러리가 같은 날 1.0.0을 찍었다. llama.cpp는 libllama와 include 폴더의 헤더를, ggml은 libggml과 자기 헤더를 공개 인터페이스로 내놓는다.

프로젝트 나이는 세 살 반이다. 그동안 수많은 앱과 바인딩이 이 헤더에 기대어 빌드됐다.

llama.cpp는 local inference를 떠받치는 C/C++ 엔진이다

이 라이브러리는 양자화된 모델을 노트북과 휴대폰, 라즈베리파이급 보드, 서버에서 돌리는 추론 엔진이다. C/C++로 쓰였고 백엔드를 하드웨어별로 갈아 끼운다. 7B 모델이 인터넷 없이 내 기기에서 답을 내는 이유가 이 층에 있다.

GGUF는 이 엔진이 읽는 파일 형식이다. 가중치와 설정을 한 파일에 담는다.

v1.0.0이 약속한 것은 유의적 버전이다

바뀐 것은 숫자 체계다. 이제 유의적 버전이 적용된다. MAJOR는 include 폴더 안 공개 C API의 호환성이 깨질 때 붙고, MINOR는 기존 코드를 깨지 않는 기능과 백엔드, 모델 지원, API 추가를 뜻한다. PATCH는 API를 건드리지 않는 수정이다.

지금까지는 이 구분이 없었다. 그래서 라이브러리를 쓰는 쪽이 어느 업데이트에서 무엇이 깨질지 미리 알 방법도 없었다. MINOR와 PATCH의 구분은 사소해 보이지만, 바인딩을 유지하는 쪽에는 릴리스 노트를 읽는 순서를 바꾼다.

ggml도 같은 규칙을 따른다

ggml은 모델이 아니다. llama.cpp 아래에서 텐서 연산을 처리하는 라이브러리다. 이번 발표는 두 라이브러리에 같은 버전 규칙을 적용했다. 헤더를 직접 쓰는 바인딩은 이제 두 라이브러리의 버전을 함께 본다.

내 앱에 생기는 변화

취미로 로컬 챗 앱을 굴리는 사람에게 이 약속은 무슨 값인가? 예전에는 어느 화요일에 갑자기 빌드가 깨졌다. 헤더 시그니처가 조용히 바뀌고 앱은 다음 빌드에서야 그 사실을 알았기 때문에, 취미로 로컬 챗 앱을 굴리는 사람은 어느 업데이트에서 빌드가 깨질지 미리 알 방법이 없었다.

이제 그런 변화는 MAJOR로 표시된다. 국내에서 사이드 프로젝트로 맥 미니나 데스크톱 GPU에 모델을 올려 쓰는 사람이라면, 업데이트를 미룰지 결정할 근거가 생긴 셈이다.

배포 채널이 넓어진 것도 발표의 일부다

패키지가 붙는 곳이 늘었다. Linux와 macOS, Windows, Android, iOS용 사전 빌드 산출물에 Docker와 Debian, Homebrew, conda-forge, MacPorts, Winget, XCFramework까지 붙으면서, 직접 컴파일하던 사람도 버전 태그가 붙은 산출물을 받아 같은 동작을 재현하기 쉬워졌다.

CI를 Hugging Face Buckets와 HF Jobs로 키웠다

약속에는 비용이 따른다. 테스트하지 않은 백엔드가 남아 있는데 공개 API 안정성을 약속할 수는 없으므로, 팀은 CI 용량을 Hugging Face Buckets와 HF Jobs로 늘리고 NVIDIA와 AMD, Qualcomm, Arm, IBM, Intel 하드웨어에 자체 러너를 두어 매 변경을 실제 기기에서 돌린다.

nightly는 멈추지 않았다

안정성 약속이 개발을 멈추면 값이 없다. 팀은 발표 뒤에도 nightly 빌드를 계속 냈다. b12445가 11월 16일 GitHub에 올라왔다.

첫 MAJOR 범프가 진짜 시험이다

버전 번호는 내 코드가 아니라 남의 코드에 대한 약속이다. v1.0.0은 그 약속을 문서로 남긴 첫 단계다. 다음 MAJOR가 언제, 무엇 때문에 붙는지가 팀이 진심인지 가르는 지점이다.

지금 로컬 스택을 쓰는 팀이라면 두 가지만 확인하면 된다. 쓰는 바인딩이 어느 버전을 고정하고 있는지, 그리고 다음 MAJOR가 나왔을 때 올릴 계획이 있는지다. 태그를 고정하지 않은 프로젝트라면 지금이 핀을 박을 시점이다.

이 소식 공유하기

출처

관련 AI 뉴스

왼쪽에서 밀려 들어오는 어시스턴트 사이드바와 아래쪽 바로가기 칩이 붙은 검색창
AI 제품

Google 검색 첫 화면에 Gemini 대화 기록이 붙었다

Google이 데스크톱 검색 첫 화면을 다시 만들었다. 검색창은 그대로인데 그 옆에 대화 기록이 붙었다. 회사가 첫 화면에서 권하는 다음 행동이 검색어 입력이 아닐 수 있다는 뜻이다.

인기 지수: 1,790
전경의 윤곽선 앱 창과 그 뒤에서 작동하는 두 번째 창, 두 창 사이를 잇는 커서 경로
AI 제품

Gemini가 내 맥 앱을 대신 조작한다, 창은 따로 열린다

Google이 11월 19일 Gemini 맥 앱에 computer use를 붙였다. 채팅창에 한 줄을 더하면 Gemini가 별도 창을 열고 내 앱을 눌러 가며 일을 끝낸다. 문제는 그 창을 내가 지켜보지 않아도 된다는 점이다.

인기 지수: 1,740
보관 기간 다이얼이 달린 금고 문 안에 봉인된 채팅 말풍선과 흐려진 72시간 타이머
AI 제품

Gemini, 기록은 남기고 학습은 끈다: 설정이 둘로 갈라졌다

Google이 Gemini의 채팅 기록 설정과 AI 학습 설정을 분리했다. 기록을 남기면서 학습은 거부할 수 있게 된 대신, 기록을 끈 대화의 보관 기간이 72시간에서 두 달로 늘어난다.

인기 지수: 1,500
골뱅이 표시와 원, 작은 막대 차트가 있는 파란 앱 패널 옆의 Gemini가 Wallet을 읽는다는 문구
AI 제품

Gemini에 Google Wallet 연결, 지출 분석은 되고 송금은 없다

Gemini에 @Google Wallet을 불러 지난 분기 지출을 물으면 대화 안에서 차트가 그려진다. 돈은 움직이지 않는다. 읽고 세는 데까지만 쓰는 기능이다.

인기 지수: 1,400