Lettertrace

Lettertrace는 자신의 Anthropic, OpenAI, Google 키로 돌아간다. 그 키는 저장 시 암호화되고 자사 인프라를 벗어나지 않으므로 사용 가산금도, 비용을 더하는 중개자도 없다. 모델 제공사에 공개 요금으로 직접 지불한다.

이 도구는 Claude, ChatGPT, Gemini, Google AI Overviews를 나란히 확인한다. 각 모델이 다르게 답하므로 이 점이 중요하다. 모델마다 고유한 버릇과 표현, 선호가 있다. 시청자에게 중요해지기 시작한 응답 엔진을 모니터링 체계를 처음부터 다시 짜지 않고 추가할 수 있다.

주제 하나를 입력하면 Lettertrace가 거기서 자연스러운 프롬프트를 수십 개 써낸다. 프롬프트를 손으로 쓸 필요가 없다. 구매자가 어떤 표현을 쓸지 짐작하는 대신, 사람들이 실제로 AI 어시스턴트에 질문을 던지는 폭을 커버한다.

등장한다는 사실만으로는 부족하다. Lettertrace는 답변이 자사를 좋게 말하는지, 모델이 자사를 추천하기는 하는지 점수를 매기므로 신뢰를 해치는 언급이 승리로 계산되지 않는다. 감정 추적은 실행마다 부호 있는 점수로 표시되고, 경쟁사 벤치마킹도 같은 패스에서 돌아간다. 그게 전부다.

점유율은 추적하는 각 경쟁사와 비교해 답변을 차지하는 빈도를 주제별, 모델별로 보여준다. 예시 출력은 명확하다. 자사 41%, Notion 28%, Linear 19%, 기타 12%. 이런 숫자는 이사회 자료에서 방어하기 쉽다. 각각이 보여줄 수 있는 프롬프트와 전문을 인용할 수 있는 모델 답변으로 거슬러 올라가기 때문이다.

실행은 매일 또는 매주 자동으로 시작할 수 있다. 각 실행이 데이터 포인트이므로 주가 거듭될수록 방향을 전혀 말해주지 않는 단발 스냅샷이 아니라 행동으로 이어지는 추세선을 쌓는다. 예컨대 주간 주기라면 경쟁사의 새 캠페인이나, 누가 추천되는지를 조용히 바꾸는 모델 업데이트를 트래픽 숫자에 드러나기 전에 잡아낸다.

Lettertrace는 MIT 라이선스다. 포크하고, scorer가 실제로 무엇을 하는지 살피고, 자사 지표로 확장할 수 있다. 데이터가 자사 Supabase 인스턴스에 있고 제3자 공급업체를 거치지 않으므로, 언젠가 떠나 파이프라인 전체를 직접 다시 짜기로 해도 종속이 없다.