LangWatch
LangWatch B.V. · 코딩 · 마케팅
LangWatch는 AI 에이전트를 추적하고 테스트하고 평가하는 오픈소스 LLM 관측성 플랫폼이며, AI 게이트웨이와 프롬프트 관리까지 한자리에 모아 둔다.
LangWatch 소개
What Is LangWatch
LangWatch는 암스테르담에 본사를 둔 LangWatch B.V.가 만든 오픈소스 LLMOps 플랫폼이다. 보통 서로 다른 도구에 흩어져 있는 네 가지 작업을 한곳에서 처리한다. LLM 트레이싱, AI 에이전트 테스트, LLM 평가, 프롬프트 관리가 그것이다. 그 위에 AI 게이트웨이가 올라가므로 모든 모델 호출을 하나의 엔드포인트로 보내고 예산을 붙일 수 있다.
프로젝트는 2023년 9월 오픈소스로 공개됐고 핵심은 지금도 Apache 2.0 라이선스다. Docker나 Helm으로 자체 인프라에 올릴 수 있고 LangWatch Cloud도 같은 코드로 돌아간다. 여러 소스를 묶는 AI 거버넌스와 이상 탐지 같은 엔터프라이즈 기능은 별도 라이선스 디렉터리에 있고 유료 플랜이 필요하다.
이 제품이 메우는 구멍은 가시성이다. 에이전트가 운영에 들어가면 나쁜 답변에 설명이 붙어 오는 경우는 거의 없다. 어느 도구 호출이 실패했는지, 어느 검색이 빈손으로 돌아왔는지, 그 대화에 비용이 얼마나 들었는지 알아야 한다. LangWatch는 각 단계를 트레이스로 남기고 흐름을 다시 재생할 수 있게 한다. 대신 개발자 도구라는 점은 감수해야 한다. 팀 누군가는 트레이스를 읽고 테스트를 쓸 줄 알아야 하며, 기획자가 혼자 코드 없이 끝까지 쓰는 경로는 없다.
시작하는 방법
- app.langwatch.ai에서 프로젝트를 만든다. Developer 플랜은 카드를 요구하지 않는다.
- Python이나 TypeScript SDK로 앱을 연결하거나 OpenTelemetry 익스포터를 수집 엔드포인트로 돌린다. LangChain, LangGraph, CrewAI, Mastra, Pydantic AI는 코드를 고치지 않고 트레이스를 보낸다.
- 에이전트를 한 번 실행한 뒤 트레이스 화면에서 span, 토큰 수, 지연 시간, 대화 전체를 확인한다.
- 평가기나 모의 사용자 시나리오를 붙이고 CI 안에서 점수에 따라 머지를 막는다.
- 버전 관리와 A/B 테스트를 코드 밖으로 옮기고 싶을 때 프롬프트를 프롬프트 관리로 넘긴다.
제품 정보
LangWatch의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 에이전트를 운영에 올리는 AI 엔지니어
- 중견 기업의 플랫폼 팀
- AI 지출을 지켜보는 엔지니어링 리드
작업
- 잘못된 답변을 디버깅하기
- 배포 전 회귀 테스트
- 프롬프트 버전 비교
- 코딩 어시스턴트 사용 감사
활용 상황
- 특정 고객군에서만 에이전트가 실패한다
- 공급자가 하룻밤 사이에 가격을 올린다
- 규제가 있는 도입에 자체 호스팅이 필요하다
주요 기능
프레임워크를 가리지 않는 LLM 트레이싱
모델 호출, 도구 호출, 검색, 평가가 모두 하나의 트레이스 안 span으로 남고, 에이전트 실행에는 중첩 span과 실행 그래프도 붙는다. 토큰과 비용은 공급자, 프롬프트, 모델 단위로 자동 집계된다. 트레이스는 스레드 ID로 세션에 묶여서 요청 하나가 아니라 대화 전체를 읽게 된다. 텍스트, 이미지, 오디오도 기록하므로 스크린샷이나 음성 메모를 다루는 에이전트에서 차이가 난다.
모의 사용자로 하는 AI 에이전트 테스트
AI 에이전트 테스트는 작성한 시나리오에서 출발하고, LLM이 사용자 역할을 맡아 현실적인 메시지를 만들어 낸다. 실행은 프롬프트 하나가 아니라 여러 턴의 대화를 다룬다. 심판 에이전트가 각 턴을 채점하고 어느 시점에서든 통과나 실패를 선언할 수 있다. 도구 호출 검증은 긴 대화 내내 맞는 도구가 맞는 순간에 실행됐는지 확인한다. 시각화 도구는 실행을 단계별로 재생하고 대화 중간에 멈춰 주석을 달게 한다. 음성 테스트는 ElevenLabs, OpenAI Realtime, Twilio, Pipecat, Gemini Live와 끝에서 끝까지 돌아가고 첫 바이트까지의 시간, p50과 p95 지연, 배경 소음과 끼어들기 주입까지 제공한다. 적대적 실행은 Crescendo 에스컬레이션과 거부 감지로 사용자보다 먼저 약점을 찾는다.
실험과 운영 트래픽을 위한 LLM 평가
기본 평가기는 RAGAS 지표, 환각, 유해성, 개인정보 탐지, LLM 심판 채점을 포함한다. 오프라인 실험은 SDK에서도, 화면의 노코드 마법사에서도 돌릴 수 있고 실행 후 품질, 비용, 지연 시간으로 비교한다. 운영 모니터는 실제 트래픽을 채점하고 품질이 떨어지면 경고를 보낸다. 채점은 대화 스레드 전체에도, 메시지 하나에도 적용되므로 고객지원 봇과 여러 단계 에이전트에 맞는다. 데이터셋은 실제 트레이스에서 만들거나 AI로 생성하거나 이미지를 포함해 올릴 수 있고, 사람 검토는 주석 인박스에 모인다. 자체 평가기는 한 번 정의해 프로젝트 사이에서 공유하고, 같은 검사를 앱 안 가드레일로 인라인 실행할 수도 있다.
팀별 예산이 붙은 AI 게이트웨이
엔드포인트 하나가 OpenAI와 Anthropic API를 모두 처리하고, 자기 키로 OpenAI, Anthropic, Google, Bedrock, Mistral 등으로 보낸다. 호출자마다 가상 키가 발급되고 예산은 사람, 팀, 최종 고객 단위로 정한다. 회사는 오버헤드가 11마이크로초라고 밝힌다. 여기를 지난 요청은 같은 프로젝트의 트레이스로 남아 SDK 트래픽과 나란히 놓인다.
버전 관리가 되는 프롬프트 관리
프롬프트는 메시지, 입력, 설정을 갖는 구조화 객체이고 코드, 화면, API 어디서든 편집한다. Liquid 템플릿이 변수와 로직을 더한다. GitHub 동기화를 쓰면 프롬프트 변경을 pull request처럼 리뷰하고, 태그로 스테이징과 운영 버전을 구분한다. 플레이그라운드는 모델을 넘나들며 버전을 나란히 돌리고, A/B 테스트는 버전별 품질, 비용, 지연을 알려 준다. 프롬프트가 바뀌면 웹훅과 Slack이 알린다.
코딩 에이전트 추적과 AI 거버넌스
npx langwatch claude 한 줄이면 Claude Code, Codex, Copilot, Gemini CLI, opencode가 같은 관측 기준에 올라온다. 세션에는 엔지니어별, 저장소별 토큰과 비용, 캐시 사용량이 표시되어 AI 비용이 어디로 가는지 답한다. AI 거버넌스 쪽은 사내에서 쓰는 모든 도구와 공급자 목록, 활동에 대한 이상 규칙, 보안 검토용 감사 로그를 더한다.
장단점
장점
- 오픈소스 핵심: Apache 2.0 플랫폼을 Docker나 Helm으로 자체 ClickHouse 위에 올리므로 트레이스가 사내망을 벗어나지 않는다.
- 계정 하나에 네 가지 도구: 추적, 에이전트 테스트, 평가, 프롬프트가 같은 트레이스를 공유해 벤더 사이 복사 붙여넣기가 사라진다.
- 폭넓은 프레임워크 지원: LangChain, LangGraph, CrewAI, Mastra, Pydantic AI, Vercel AI SDK, 순수 OpenTelemetry가 코드 수정 없이 트레이스를 보낸다.
- 쓸 만한 무료 플랜: 월 5만 이벤트, 사용자 두 명, 14일 보관이 무료이고 카드도 필요 없다. 프로토타입에는 충분하다.
- 게이트웨이가 통제권을 지킨다: 공급자 키와 개인 예산이 내 계정에 남고, 게이트웨이를 지난 호출은 자동으로 트레이스가 된다.
단점
- 우선 개발자 도구다: 끌어다 놓기로 에이전트를 만드는 길이 없고, 평가 설정에는 Python이나 TypeScript를 쓸 줄 아는 사람이 필요하다.
- 사용량 과금은 지켜봐야 한다: Growth는 20만 이벤트가 포함되고 이후 10만 건당 5유로다. 도구 호출과 검색이 많은 에이전트는 단순 챗봇보다 훨씬 빨리 이벤트를 태운다.
- 자체 호스팅에는 운영 부담이 따른다: ClickHouse와 플랫폼을 직접 돌리고 업그레이드도 맡아야 한다. 엔터프라이즈 지원을 사지 않는 한 그렇다.
- 거버넌스와 SSO는 엔터프라이즈 전용: 자체 SSO, RBAC, 감사 로그, 데이터 마스킹이 Growth에는 없어서 규제가 있는 팀은 협상 전까지 쓸 수 없다.
자주 묻는 질문
LangWatch는 LLM 애플리케이션을 관측하고 테스트하고 평가하는 오픈소스 플랫폼이다. 에이전트 트레이스를 기록하고 모의 대화를 실행하며 응답 품질을 채점하고 프롬프트 버전을 한 대시보드에서 관리한다.
관련 콘텐츠
LangWatch와 관련된 도구, 스킬, 아티클을 살펴보세요.
LangWatch 대안
Base Code
Base44 (Wix) · 코딩 · 생산성Base Code는 Base44가 만든 공유 클라우드 개발 환경이다. 팀은 기존 GitHub 저장소에 대한 변경을 채팅으로 설명하고, 미리보기로 확인한 뒤 풀 리퀘스트로 돌려보낸다.
Google EmbeddingGemma 2
Google DeepMind · 글쓰기 · 이미지 · 코딩Google EmbeddingGemma 2는 7억 4000만 파라미터의 오픈 모델로, 텍스트와 코드, 이미지, 오디오, 영상 프레임을 하나의 768차원 공간에 벡터로 바꿔 스마트폰과 노트북에서 실행한다.
GitGlow
GitGlow · 코딩 · 생산성GitGlow는 내 코드와 AI 에이전트의 변경을 한 리뷰에 모으는 데스크톱 Git 클라이언트다. 배포 전에 내 기계에서 무엇이 나가는지 확인할 수 있다.