PromptPerf

PromptPerf는 업무에서 AI 모델을 쓰면서 명성만 보고 모델을 고르는 데 지친 사람을 위한 웹 도구다. 예시 프롬프트를 쓰고 좋은 답이 어떤 모습인지 적으면, 그 프롬프트를 여러 모델에서 동시에 실행한다. 각 답은 기대한 답과 대조해 일치 점수를 받으므로, 짐작이 아니라 숫자로 뒷받침된 승자를 본다.

바탕에 깔린 생각은 범용 벤치마크가 자기 용도를 거의 말해주지 않는다는 것이다. 공개 순위에서 앞선 모델도 특정 작업에서는 더 싼 선택에 밀릴 수 있고, 이 AI 모델 비교 플랫폼은 그 차이를 자기 프롬프트에서 직접 잰다. 프롬프트 평가를 내 데이터로 할 수 있다는 점이 강점이다. 비용도 기록하므로, 작은 정확도 차이와 모델별 가격을 견줘 볼 수 있다.

주요 한계는 범위다. PromptPerf는 테스트와 비교 계층이지, AI 앱을 만들거나 배포하는 곳이 아니다. 연결된 호스팅 모델에서 작동하며, 팀 도구와 고급 분석 같은 깊은 기능은 상위 요금제에 있다.

Getting Started

1. promptperf.dev의 평가 도구를 열고 예시를 최소 하나 추가한다. 자기 프롬프트와 좋은 모델이라면 돌려줄 답을 함께 넣는다.
2. 예시를 더 넣거나 한꺼번에 올려, 테스트가 쉬운 경우 하나가 아니라 여러 입력을 다루게 한다.
3. 비교할 모델을 두 개에서 네 개 고르거나 도구가 후보를 제안하게 하고, 더 엄격하거나 느슨하게 맞추고 싶으면 창의성과 합격 점수를 조정한다.
4. 테스트를 실행하고 결과를 읽는다. 각 모델이 일치 점수로 순위가 매겨지고 각 선택의 상대 비용도 표시된다.
5. 테스트를 저장하고 나중에 다시 실행해, 공급자 업데이트가 모델의 프롬프트 처리를 바꾼 시점을 잡아낸다.