Mercury

Mercury는 토큰을 하나씩이 아니라 병렬로 쓴다. 기존 모델보다 몇 배 빠른 핵심 이유다. Inception은 널리 구할 수 있는 NVIDIA GPU에서 첫 토큰까지 300밀리초 미만, 초당 1,107개 토큰을 보고한다. 이 차이는 써보기 전까지는 기술적으로 들린다. 사용자에게는 즉각적으로 느껴지는 어시스턴트와, 로딩 표시가 도는 동안 계속 기다리게 하는 어시스턴트의 차이다. 사람을 조용히 제품에서 멀어지게 만드는 바로 그런 작은 지연이다.

Mercury 2.5 모델은 한 번의 요청에서 최대 260,000개 토큰의 컨텍스트를 받는다. 긴 문서, 큰 코드 파일, 긴 대화 이력을 잘게 쪼개지 않고 담을 수 있다. 긴 컨텍스트와 높은 속도의 조합은 드물다. 대부분의 빠른 모델은 창을 소박하게 유지하므로, 대규모 코드베이스나 긴 보고서를 다루는 팀은 이 부족함을 곧바로 느낀다. 큰 파일에는 큰 무기다.

요청마다 모델이 얼마나 내부 추론을 할지 조절할 수 있다. 단계적 사고가 필요한 어려운 문제에는 올리고, 추가 추론이 지연과 비용만 늘리는 단순 조회에는 내린다. 이 제어는 추론이 보통 켜짐 아니면 꺼짐인 호스팅 모델에서는 드물다. 좋다.

Mercury는 자신이 정의한 JSON 스키마에 맞도록 출력을 제한할 수 있다. 확산은 토큰을 한 묶음으로 고치게 해주므로, Inception은 구조화된 출력이 더 믿을 만해진다고 말한다. 깨진 응답이 줄어든다. 개발자는 결과를 파이프라인의 다음 단계로 넘길 때 고쳐야 할 잘못된 출력이 줄어든다. 워크플로가 프로덕션에서 하루에 수천 번 돌면 빠르게 쌓이는 종류의 작은 상처다.

모델은 각 호출이 끝나기를 기다리는 대신 여러 도구나 함수 호출을 한꺼번에 보낼 수 있다. 캘린더를 확인하고, 데이터베이스에 질의하고, 웹을 검색하는 에이전트에서 이 병렬성은 응답에서 실제 몇 초를 깎는다. Mercury가 내세우는 다단계 워크플로에 맞고, 에이전트가 다섯 번의 순차 호출을 힘겹게 지나가는 것을 본 사람이라면 그 대기가 한 번의 대화에서 얼마나 쌓이는지 안다. 에이전트에게 큰 승리다.

Mercury는 확산 LLM, 즉 dLLM이다. Inception은 지금까지 훈련된 확산 언어 모델 가운데 가장 큰 축에 든다고 설명한다. 이 아키텍처는 텍스트와 오디오, 이미지, 비디오를 하나의 틀에서 섞는 길도 연다. 오늘 출시된 제품은 텍스트 우선이다.