Heron

Heron은 회선에서, 호스트의 TLS 경계에서, 또는 SSL 읽기/쓰기 경계에서 평문을 잡아내는 실험적 eBPF 프로브를 통해 트래픽을 읽는다. SDK도, 프록시도, 코드 변경도 없고 관찰 대상 작업 부하의 협조도 필요 없다. 닫힌 바이너리나 엄격한 변경 통제를 가진 팀에게는 에이전트 모니터링이 미뤄지는 주된 이유가 사라진다.

원시 HTTP 호출은 해석하기 어렵다. Heron은 여러 호출로 이뤄진 상호작용을 하나의 주소 지정 가능한 턴으로 꿰맨다. 그래서 플래너 단계와 그 도구 호출, 도구 결과, 후속 호출이 하나의 이야기로 읽힌다. 얻는 것은 에이전트의 이야기지, 뚝뚝 끊긴 요청의 로그가 아니다. 그게 차이다. 범용 API 모니터와 갈라놓는 기능이다.

명령 하나로 첫 토큰까지의 시간, 지연 시간, 처리량, 오류율, 에이전트별 구성이 실시간으로 나온다. 모두 트래픽에서 재구성되어 로컬 웹 콘솔에 표시된다. Claude Code와 OpenAI Codex CLI용 이름 붙은 프로파일이 함께 오고, 나머지 전반을 위한 범용 프로파일도 있다. 지표 파이프라인 없이 플릿 수준 수치를 원한 적이 있다면 이게 지름길이다. 파이프라인은 필요 없다.

Heron은 설정 파일을 읽는 대신 회선 위 바이트를 살펴 각 엔드포인트가 무엇을 제공하는지(vLLM, SGLang, Ollama, llama.cpp, LiteLLM 등) 알아낸다. 이어서 추론 플릿을 방향 그래프로 그리는데, 간선 두께는 턴 수에 따라 조정된다. 잘못 설정된 라우팅은 그림으로 보면 금방 드러난다.

아무 턴이나 세션을 OpenAI 형식 messages JSONL로 내보낼 수 있고, 도구 호출과 결과, 추론이 보존되며 인자는 객체로 복원된다. 상세 보기에서 한 턴을 내보내거나, 턴 목록에서 현재 필터로 일괄 내보낸다. 손으로 라벨링해야 했을 실제 운영 트래픽이 훈련 데이터로 바뀐다.

라이브 캡처는 필요 없다. LLM 트래픽이 담긴 .pcap을 Heron에 넘기면 특별한 권한 없이 전체를 재생하고, 이후에도 콘솔을 열어 둬 살펴볼 수 있다. 저장소에는 실제 시스템을 건드리기 전에 시험해 볼 수 있는 픽스처가 들어 있다. 평가가 저렴해진다. 그리고 안전해진다.