PromptPerf

O PromptPerf é uma ferramenta web para quem usa modelos de IA no trabalho e cansou de escolher um pela fama. Você escreve um prompt de exemplo, descreve como seria uma boa resposta e o PromptPerf roda esse prompt em vários modelos ao mesmo tempo. Cada resposta recebe uma nota de correspondência diante da resposta esperada, então você vê um vencedor com dados em vez de um palpite.

A ideia por trás é que testes genéricos dizem pouco sobre o seu caso. Um modelo que lidera uma tabela pública pode ficar atrás de uma opção mais barata na sua tarefa específica, e esta plataforma para avaliar prompts mede essa diferença diretamente nos seus prompts. Ela também registra o custo, para você pesar uma pequena diferença de precisão contra o preço de cada modelo.

A limitação principal é o escopo. O PromptPerf é uma camada de teste e comparação, não um lugar para construir ou publicar um app de IA. Ele funciona com modelos hospedados aos quais se conecta, e os recursos mais avançados, como ferramentas de equipe e análises, ficam nos planos superiores.

Getting Started

1. Abra o avaliador em promptperf.dev e adicione ao menos um exemplo: seu prompt junto da resposta que você esperaria de um bom modelo.
2. Some mais exemplos ou carregue um conjunto inteiro para que o teste cubra entradas diferentes e não apenas um caso fácil.
3. Escolha de dois a quatro modelos para comparar, ou deixe a ferramenta sugerir uma lista curta, e ajuste a criatividade e a nota de aprovação se quiser uma correspondência mais rígida ou mais flexível.
4. Rode o teste e leia os resultados, que ordenam cada modelo pela nota de correspondência e mostram o custo relativo de cada opção.
5. Salve o teste e rode de novo mais tarde para pegar quando uma atualização do provedor muda a forma como um modelo lida com seus prompts.