Context Gateway

여기서는 타이밍이 전부다. 대화가 한계에 닿을 때까지 기다렸다가 요약을 위해 멈추는 대신, Context Gateway는 세션이 자라는 동안 백그라운드에서 요약을 미리 계산한다. 임계값을 넘으면 작업이 이미 끝나 있어 압축은 즉시 이루어진다. 코딩 에이전트가 작업 도중 얼어붙는 걸 본 적 있는 사람에게 그 전환이 핵심이다. 돌아가는 표시등을 바라볼 일이 없다.

마법사에는 가장 흔한 AI 코딩 환경인 claude_code와 cursor용 프리셋이 들어 있고, openclaw와 직접 구성하는 custom 옵션도 있다. 도입하려고 에이전트를 다시 작성하지 않는다. AI 컨텍스트 압축은 LLM API 앞단에서 프록시로 일어나고, 기존 도구는 그대로 남는다.

게이트웨이 아래에는 Compresr의 압축 API가 있어, 실제로 던지는 질문에 견주어 컨텍스트를 채점한다. 이것이 LLM 컨텍스트 최적화를 제대로 하는 방식이다. 무작정 압축하는 대신 답을 담은 구간을 남기고 나머지를 버린다. 회사 자체의 FinanceBench 벤치마크는 가벼운 압축에서 정확도가 유지되고 오히려 개선될 수 있다고 주장한다. 그 수치는 벤더에서 나온 것이니 독립적인 결과가 나올 때까지 마케팅으로 보는 편이 낫다.

압축 임계값은 기본적으로 컨텍스트 윈도의 75%지만, 설정할 때 직접 정한다. 일찍 압축해 한계에서 멀어지고 싶으면 낮춘다. 원본 기록을 더 남기고 싶으면 높인다. 압축 이벤트가 발동하면 Slack 알림이 알려줄 수 있다.

모든 압축은 logs/history_compaction.jsonl에 기록되므로 무엇이 언제 압축됐는지 확인할 수 있다. 도구에 대화 기록을 조용히 다시 쓰도록 맡길 때 이 투명성은 중요하다. 출력이 이상해 보이면 확인할 기록이 있다. 다른 방식으로 알게 되는 건 바람직하지 않다.

게이트웨이 외에도 Compresr는 프롬프트 압축 API를 호스팅 SDK로 제공하며, TypeScript와 Python 클라이언트, 백만 토큰당 가격을 갖춘다. 데이터를 네트워크 밖으로 내보낼 수 없을 때는 온프레미스 옵션이 자체 VPC 안에서 돌아간다. 온프레미스 경로는 처리량과 지연에 대한 맞춤 SLA와 전담 지원을 동반한다.