AI 제품

오픈라우터가 라우팅을 갈아엎은 이유

오픈라우터가 기본 라우팅을 입력 단가 기준에서 기대 비용 기준으로 바꿨다. 회사 실측으로 첫 토큰 지연은 16.9% 줄고 429 오류는 67% 감소했으며, 비용은 6% 올랐다.

김민준김민준
인기 지수: 1,580
오픈라우터가 라우팅을 갈아엎은 이유

오픈라우터가 10월 28일 자사 역사상 가장 큰 라우팅 알고리즘 개편을 발표했다. 그동안 기본값은 "가장 싼 공급자"였는데, 이제는 답 하나를 건지는 데 드는 총비용을 따진다.

오픈라우터의 기본 라우팅이 바뀌었다

오픈라우터는 여러 모델 제공사의 모델을 하나의 API로 묶어 호출하게 해주는 중계 서비스다. 같은 모델이라도 제공사마다 값과 속도, 안정성이 다르다. 어떤 제공사를 붙일지 정하는 규칙이 라우팅이고, 이번에 그 기본 규칙을 갈아엎었다.

회사 설명에 따르면 전체 요청의 약 77%가 여러 제공사가 함께 서비스하는 모델로 간다. 지금까지는 이 요청을 입력 토큰 가격만 보고 나눴다. 거의 단일 기준이었다고 봐도 된다. 같은 모델을 여러 곳에서 돌리는 구조라면, 어디로 보낼지 정하는 규칙 하나가 비용과 체감 속도를 동시에 바꾼다.

싼 공급자를 고르던 방식의 구멍

문제는 여럿이었다. 값이 싸면서 품질이 떨어지는 제공사도 같은 트래픽을 가져갔다. 순위가 고정돼 있어 실시간으로 흔들리는 지연이나 오류가 반영되지 않았다. 제공사 입장에서는 값을 내리는 것 말고는 선택지가 없었고, 그만큼 기반 시설에 쓸 돈이 줄었다.

가격 게임도 생겼다. 입력 단가는 낮게 적어 두고, 캐시나 출력 쪽에서 이를 만회하는 식이다. 사용자 입장에서는 겉으로 보이는 단가와 실제로 낸 돈이 달라진다.

좋은 답 하나에 드는 비용

새 기준은 라우팅 비용이다. 한 번의 시도에 드는 비용과 성공할 확률을 곱해, 좋은 답 하나를 얻는 데 필요한 기대 비용을 계산한다.

시도 비용은 두 갈래로 나뉜다. 하나는 최근 실제 캐시 적중률과 입력·출력 비율을 반영한 실효 가격이다. 표에 적힌 단가가 아니라 실제로 청구되는 금액에 가깝다. 다른 하나는 기다린 시간이다. 지연 시간과 처리량을 모델별로 정한 환산율에 따라 돈으로 바꿔 더한다.

성공 확률은 신뢰성과 품질로 나뉜다. 제공사 쪽 오류는 무겁게 깎고, 오류율이 다른 곳보다 크게 높으면 복구될 때까지 트래픽을 멈춘다. 품질은 지금은 도구 호출 형식이 제대로 나오는지를 주로 본다. 다섯 번에 한 번 실패하면 좋은 답 하나에 1.25번 값을 치르는 셈이다.

실효 가격이라는 말이 낯설 수 있다. 표에 적힌 입력 단가가 같아도 캐시 적중률이 높은 쪽은 실제로 받는 돈이 적다. 반대로 캐시가 거의 없는 요청을 많이 받는 쪽은 표보다 비싸게 청구된다. 새 계산은 이 차이를 처음부터 반영한다.

숫자로 본 변화

그럼 사용자 쪽에서 달라지는 것은 무엇일까? 회사가 공개한 실측 결과는 이렇다. 첫 토큰이 나올 때까지 걸리는 시간은 16.9% 줄었고, 처리량은 16.3% 늘었다. 요청이 너무 많아 거절당하는 429 오류는 67% 감소했다. 대신 비용은 6.0% 올랐다.

첫 토큰 지연은 질문을 보낸 뒤 화면에 첫 글자가 뜨기까지 걸리는 시간이다. 처리량은 같은 시간에 얼마나 많은 글자를 뽑아내는지를 뜻한다. 429는 서버가 요청을 받아주지 못할 때 돌려주는 상태 코드다. 사용자에게는 재시도 버튼을 누르는 일로 나타난다. 긴 답을 기다리는 사용자에게는 두 번째와 세 번째 숫자가 체감 차이를 만든다.

회사는 이 숫자가 제공사들이 새 알고리즘에 맞춰 최적화하기 전에 잰 값이라고 강조했다. 즉 지금은 비용이 조금 더 들지만, 시간이 지나면 양쪽이 함께 개선될 여지가 남아 있다는 뜻이다.

트래픽을 한 곳에 몰지 않는 이유

가장 좋은 제공사 하나에 모든 요청을 보내는 방식은 쓰지 않는다. 경쟁 구간 안에 있는 엔드포인트들이 트래픽의 대부분을 나눠 갖고, 조금 뒤처지면 몫이 줄어든다. 구간 밖으로 밀리면 트래픽이 빠르게 빠진다.

그래도 각 제공사에는 관측용으로 적은 양의 트래픽을 남겨 둔다. 순위가 한 번 굳으면 다시 올라올 기회가 없기 때문이다. 이 구조는 제공사에게 값을 낮추는 것 외에 품질로 경쟁할 이유를 만들어 준다. 지연을 줄이거나 오류를 잡는 투자가 트래픽으로 돌아오는 셈이다. 반대로 품질이 낮은 곳은 트래픽이 줄어도 바로 끊기지 않고 관찰 대상으로 남는다.

캐시와 가격 지정은 그대로

라우팅은 여전히 캐시를 인식한다. 같은 대화를 이어가는 중이라면 캐시가 살아 있는 동안 해당 세션을 같은 제공사에 고정한다. 갑자기 다른 곳으로 옮기면 캐시를 다시 쌓아야 해서 오히려 느려지고 비싸진다.

예전처럼 가격만 보고 고르고 싶다면 길이 남아 있다. 요청에 고정이나 정렬 옵션을 붙이면 된다. 새 기본값이 마음에 들지 않는 팀을 위한 탈출구다.

개발자 입장에서 당장 할 일은 많지 않다. 별도 설정 없이 기본값이 바뀌므로, 다음 청구서에서 비용이 6% 안팎 올랐는지, 응답이 빨라졌는지 확인하면 된다. 비용에 민감한 서비스라면 고정 옵션으로 예전 방식을 유지하는 편이 낫다.

라우팅은 사용자에게 보이지 않는 층이다. 같은 모델을 불러도 어디로 가느냐에 따라 속도와 값이 달라지는데, 이를 아는 사용자는 드물다. 이번 발표는 그 층을 숫자로 드러낸 사례다.

이 소식 공유하기

출처

관련 AI 뉴스

왼쪽에서 밀려 들어오는 어시스턴트 사이드바와 아래쪽 바로가기 칩이 붙은 검색창
AI 제품

Google 검색 첫 화면에 Gemini 대화 기록이 붙었다

Google이 데스크톱 검색 첫 화면을 다시 만들었다. 검색창은 그대로인데 그 옆에 대화 기록이 붙었다. 회사가 첫 화면에서 권하는 다음 행동이 검색어 입력이 아닐 수 있다는 뜻이다.

인기 지수: 1,790
전경의 윤곽선 앱 창과 그 뒤에서 작동하는 두 번째 창, 두 창 사이를 잇는 커서 경로
AI 제품

Gemini가 내 맥 앱을 대신 조작한다, 창은 따로 열린다

Google이 11월 19일 Gemini 맥 앱에 computer use를 붙였다. 채팅창에 한 줄을 더하면 Gemini가 별도 창을 열고 내 앱을 눌러 가며 일을 끝낸다. 문제는 그 창을 내가 지켜보지 않아도 된다는 점이다.

인기 지수: 1,740
보관 기간 다이얼이 달린 금고 문 안에 봉인된 채팅 말풍선과 흐려진 72시간 타이머
AI 제품

Gemini, 기록은 남기고 학습은 끈다: 설정이 둘로 갈라졌다

Google이 Gemini의 채팅 기록 설정과 AI 학습 설정을 분리했다. 기록을 남기면서 학습은 거부할 수 있게 된 대신, 기록을 끈 대화의 보관 기간이 72시간에서 두 달로 늘어난다.

인기 지수: 1,500
받침대 위에 층층이 쌓인 라이브러리와 그 위에 잠긴 버전 태그, 위에서 흘러드는 데이터 흐름
AI 제품

llama.cpp, v1.0.0을 찍고 인터페이스 안정성을 약속했다

ggml-org 팀이 11월 13일 llama.cpp와 ggml을 v1.0.0으로 올렸다. 새 기능보다 눈에 띄는 것은 앞으로 공개 인터페이스를 예고 없이 깨지 않겠다는 약속이다.

인기 지수: 1,200