OpenLIT
OpenLIT · 코딩
OpenLIT은 OpenTelemetry를 기반으로 한 오픈소스 플랫폼으로, LLM 관측성과 평가, 가드레일을 제공해 AI 에이전트의 동작을 추적하고 점수 매기고 고칠 수 있다.
OpenLIT 소개
About
OpenLIT란 무엇인가
OpenLIT은 AI 애플리케이션의 관측성 계층을 맡는다. 앱을 이쪽으로 연결하면 모델 호출, 도구 호출, 검색, 에이전트 단계가 모두 읽을 수 있는 트레이스로 남는다. 추적과 평가, 가드레일, 프롬프트 관리, 비용 추적을 한곳에서 처리한다.
강점은 데이터를 옮기기 쉽다는 데 있다. OpenLIT이 기록하는 건 OpenTelemetry 표준 데이터라서 내장 대시보드에 두어도 되고, 같은 트레이스를 Grafana나 Datadog, 임의의 OTLP 백엔드로 보내도 된다. 텔레메트리가 특정 벤더 형식에 묶이지 않으며, Apache 2.0 아래에서 전체 스택을 직접 호스팅할 수 있다.
아쉬운 점은 OpenLIT이 개발자 도구라는 사실이다. 값을 뽑아내려면 SDK나 컬렉터를 붙여야 하고, 운영 트래픽을 다루려면 저장소도 직접 운영해야 한다. 설정 없이 바로 쓰는 완성품을 원한다면 이 제품은 아니다.
시작하기
- OpenLIT 저장소를 클론하고
docker compose up -d를 실행하거나, 이미 있는 OTLP 엔드포인트에 앱을 연결한다. - Python은
pip install openlit, TypeScript는npm install openlit으로 SDK를 설치한다. - 코드 맨 위에
openlit.init()을 넣으면 지원하는 모델 제공자와 프레임워크, 벡터 DB가 자동으로 계측된다. - 대시보드를 열어 첫 트레이스를 읽고, 앱이 커지는 만큼 평가나 프롬프트, 가드레일을 붙여 나간다.
제품 정보
OpenLIT의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- LLM 앱을 만드는 개발자
- 플랫폼 팀과 SRE
- 폐쇄형 관측성 도구에서 옮겨오는 팀
작업
- 실패한 에이전트 실행 디버깅
- 모델 비용 줄이기
- 배포 전 프롬프트 비교
- 런타임 프롬프트 인젝션 차단
활용 상황
- RAG 챗봇 운영 배포
- CI에서 코딩 에이전트 돌리기
- 학습이나 추론 중 GPU 비용 감시
주요 기능
OpenTelemetry 네이티브 추적
OpenLIT은 LLM 호출과 도구 호출, MCP 요청, 검색, 에이전트 단계를 표준 OpenTelemetry 트레이스로 기록한다. 사용자와 세션, 비용, 지연 시간으로 걸러 볼 수 있고, 같은 데이터를 OpenLIT 안에만 두지 않고 Grafana나 Datadog, 임의의 OTLP 엔드포인트로 보낼 수 있다. 이 이동성이 폐쇄형 도구 대신 이걸 고르는 가장 큰 이유다.
자동 계측과 노코드 옵션
openlit.init()만 넣으면 지원하는 제공자와 프레임워크, 벡터 DB가 계측되고, OpenAI와 LangChain, CrewAI, ChromaDB 등 50개가 넘는 연동이 준비돼 있다. Claude Code나 Codex, Cursor 같은 코딩 에이전트에는 CLI가 소스 코드를 건드리지 않고 계측을 넣는다.
LLM-as-a-judge 기반 평가
OpenLIT은 환각과 편향, 유해성, 관련성, 완전성, 지시 이행을 기준으로 출력에 점수를 매긴다. 실시간 트래픽에도 실험에도 검사를 돌릴 수 있고 CI 파이프라인 통과 여부에 묶을 수 있어서, 품질 저하가 사용자에게 먼저 닿기 전에 배포를 막는다.
버전 관리가 붙은 프롬프트 허브
Prompt Hub는 프롬프트를 한곳에 모으고 Major, Minor, Patch 태그로 버전을 관리하며 런타임에 {{variable}} 값을 끼워 넣는다. 앱 코드를 다시 배포하지 않고도 프롬프트를 내보내거나 되돌릴 수 있어서, 문구 변경이 릴리스 주기에서 빠진다.
런타임 가드레일
가드레일은 요청이 들어올 때 검사하고 프롬프트 인젝션, 민감한 주제, 주제 제한에 대응한다. 규칙은 이쪽에서 정하고 OpenLIT이 요청 경로에서 적용하니, 모델이 얌전하게 굴지 의존하지 않는 안전 계층이 생긴다.
비용과 지연 시간, GPU 모니터링
플랫폼은 모델과 제공자, 사용자, 세션, 에이전트를 가로질러 지출과 지연 시간을 추적하고 미세 조정 모델의 별도 가격도 지원한다. 별도의 GPU 컬렉터가 NVIDIA와 AMD, Intel 하드웨어에서 사용률과 메모리, 온도, 전력을 끌어와서 비용과 하드웨어 부담이 같은 대시보드에 나란히 놓인다.
장단점
장점
- OpenTelemetry 네이티브라 트레이스가 이동 가능하고 독자 형식을 피한다
- Apache 2.0 아래에서 무료로 직접 호스팅하며 라이선스 키도 데이터 소유권도 스스로 쥔다
- 지원 제공자는 한 줄로 연결되고 코딩 에이전트에는 노코드 옵션도 있다
- 관측성과 평가, 가드레일, 프롬프트, GPU 모니터링을 한 플랫폼에 모은다
- ClickHouse 기반 저장소가 대용량 LLM과 에이전트 텔레메트리를 감당한다
단점
- 개발자용으로 만들어져 비기술 사용자는 설정과 개념이 벅차게 느껴진다
- 운영 트래픽을 직접 호스팅하려면 ClickHouse를 돌리고 계속 건강하게 유지해야 한다
- 기능 폭이 넓어서 입문 문서를 다 읽기 전까지는 생산성이 나오지 않는다
- 관리형 SaaS와 달리 업데이트와 확장, 백업이 모두 자기 몫이다
자주 묻는 질문
OpenLIT은 AI 에이전트와 LLM 앱을 추적하고 평가하고 보호하는 오픈소스 플랫폼이다. 모델 호출과 도구 호출, 검색을 OpenTelemetry 트레이스로 담고 그 위에 평가와 가드레일, 프롬프트 관리를 얹는다.
관련 콘텐츠
OpenLIT와 관련된 도구, 스킬, 아티클을 살펴보세요.
OpenLIT 대안
Base Code
Base44 (Wix) · 코딩 · 생산성Base Code는 Base44가 만든 공유 클라우드 개발 환경이다. 팀은 기존 GitHub 저장소에 대한 변경을 채팅으로 설명하고, 미리보기로 확인한 뒤 풀 리퀘스트로 돌려보낸다.
Google EmbeddingGemma 2
Google DeepMind · 글쓰기 · 이미지 · 코딩Google EmbeddingGemma 2는 7억 4000만 파라미터의 오픈 모델로, 텍스트와 코드, 이미지, 오디오, 영상 프레임을 하나의 768차원 공간에 벡터로 바꿔 스마트폰과 노트북에서 실행한다.
GitGlow
GitGlow · 코딩 · 생산성GitGlow는 내 코드와 AI 에이전트의 변경을 한 리뷰에 모으는 데스크톱 Git 클라이언트다. 배포 전에 내 기계에서 무엇이 나가는지 확인할 수 있다.