RunLLM: The AI Support Engineer

RunLLM은 당신 제품이 실제로 돌아가는 데 쓰는 재료를 읽는다. 문서, 헬프센터 글, 지난 지원 대화, 로그, 소스 코드다. 질문이 오면 일반 지식이 아니라 이 자료에서 답을 끌어온다. 이것이 답을 당신 제품에 붙들어 두고 두루뭉술한 조언으로 흐르지 않게 하는 힘이다. 자료를 많이 붙일수록 답은 더 구체해진다.

어시스턴트는 사용자가 실제로 무엇을 묻는지 추론하고, 어떤 자료를 끌어올지 스스로 정한다. 질문에 정보가 빠져 있으면 답을 지어내는 대신 되묻는다. 제안 전에 코드를 실행해 수정을 검증할 수도 있다. 단순 문서 봇이 멈추는 모호하고 여러 단계인 질문을 감당하는 힘이 여기서 나온다.

로그를 남기는 제품에서 RunLLM은 오류 출력과 텔레메트리를 읽어 무엇이 실패했는지 진단한다. 지원 티켓을 줄이는 힘의 바탕이 이 부분이다. 사람을 기다리지 않고 장애 자체의 데이터에서 답을 찾기 때문이다. 사용자에게 상황을 다시 설명하게 하는 대신 실제 데이터에서 출발해 유력한 원인을 짚는다.

어시스턴트는 구체적 질문에 답하는 코드를 만들고 검증한다. 사용자가 막힌 API에 쓸, 돌아가는 요청 같은 것이다. 당신 코드와 문서를 읽기에 코드 조각은 그럴듯한 추측이 아니라 실제 인터페이스에 맞는다. 개발자 제품에서 돌아가는 예시는 티켓을 닫을지 한 번 더 오갈지를 가르는 경우가 많다.

대상별로 별도의 AI 지원 에이전트를 만들 수 있다. 지원용, 영업용, 고객 성공용처럼 나누고 각각 자료와 지시를 따로 준다. 지원 에이전트는 해결 쪽으로 맞추고, 영업 에이전트는 다른 재료를 끌어온다. 그래서 각 어시스턴트가 맡은 질문에 집중한다.

RunLLM은 AI 고객 지원 계층으로 자리하며, 고객이 쓰는 채널 안에서 답한다. 자사 사이트 위젯, Slack, Microsoft Teams, Zendesk 같은 지원 도구다. 사용자는 다른 곳으로 밀려나지 않고 있던 자리에서 도움을 받는다. 같은 창에서 주는 답이 포털로 보내는 것보다 낫기에, 티켓을 줄이는 힘의 상당 부분이 이 배치에서 나온다.

내세우는 것은 짧은 온보딩이다. 자료와 채널을 연결하면 어시스턴트가 답하기 시작한다. 그다음부터는 약한 답을 고칠수록, 실제 질문을 많이 볼수록 나아진다. 몇 달짜리 구축이 아니라 빨리 시작해 쓰면서 벼리는 것으로 팀은 설명한다.