Vectorview
Vectorview (now Andon Labs) · Programação
A Vectorview monta avaliações sob medida para modelos de fundação e agentes de LLM. O time, que hoje assina como Andon Labs, mede capacidade, segurança e comportamento em testes longos.
Sobre Vectorview
About
O que é a Vectorview
A Vectorview é uma empresa de avaliação de modelos e agentes de IA. Nasceu na Suécia em 2023 e passou pela turma W24 da Y Combinator. Os fundadores são Lukas Petersson, Emil Fröberg e Axel Backlund.
Hoje ela opera como Andon Labs. Ao digitar vectorview.ai no navegador, você cai no site da Andon Labs, que fala de organizações autônomas e não de serviços de avaliação. A mudança pesa na hora de comprar: a página original do produto e as condições comerciais saíram do ar.
O problema que ela ataca é concreto. Benchmark público satura rápido. Quando todos os modelos de ponta caem na mesma faixa no MMLU ou num teste de código, esse número para de dizer a um time se o modelo aguenta a carga real dele. Uma avaliação personalizada responde a algo mais estreito: nesta tarefa, com estas ferramentas, quantas vezes o modelo termina o serviço e como ele se comporta quando não consegue.
O limite está no acesso. Nunca foi um produto de cadastro e cartão. O trabalho era fechado em conversa, com preço por projeto, e o material público pendia para pesquisa. A Andon Labs vende algo parecido hoje, mais o Pion.
Como começar
- Abra vectorview.ai ou andonlabs.com e use o e-mail de contato ou o formulário da lista de espera do Pion.
- Descreva a implantação que importa: quais modelos, quais ferramentas, o que o agente deveria fazer e como ele falha na prática.
- Revise o conjunto de tarefas proposto e as regras de pontuação antes de qualquer execução. Pergunte o que conta como aprovado e quem escreve a rubrica.
- Deixe o time rodar a avaliação em versões reservadas das tarefas. Leia o relatório olhando sinais de trapaça, não só a nota final.
- Repita a mesma bateria depois de trocar o modelo ou reescrever o prompt. É nessa comparação que mora o valor.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Vectorview.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Responsáveis por avaliação em laboratórios de IA
- Fundadores com agentes em produção
- Times de segurança de IA e de políticas
Tarefas
- Comparar um lançamento novo
- Fazer red teaming num chatbot de atendimento
- Testar agente em horizonte longo
- Comparar fornecedores antes da compra
Cenários
- Revisão de segurança antes do lançamento
- Checagem de regressão depois de trocar o modelo
- Due diligence sobre promessas de IA
Principais recursos
Avaliadores de tarefa sob medida
O time escreve ambientes, prompts e regras de pontuação em volta do trabalho que você descreve, e depois coloca os modelos candidatos lá dentro. Cada avaliação é montada para um caso, então um agente de suporte e um assistente de pesquisa recebem conjuntos diferentes. A saída é um relatório com notas, não uma posição em ranking.
Benchmarks públicos de horizonte longo
O Vending-Bench 2 é o mais conhecido dos benchmarks de longo prazo da casa. Ele coloca um modelo no comando de um negócio simulado de máquinas de lanche por um ano, com negociação de fornecedores, entregas atrasadas e clientes pedindo reembolso. Uma rodada chega a 3.000 ou 6.000 mensagens e a 60 ou 100 milhões de tokens de saída, e é por isso que ela pega desvios que testes curtos deixam passar. O Vending-Bench Arena soma agentes concorrentes, e o Drone-Bench e o Blueprint-Bench cobrem robótica e design.
Ambientes reais de implantação
A Andon Labs mantém lojas de verdade operadas por agentes de IA: Andon Market em San Francisco, Andon Café em Estocolmo, Andon FM e máquinas de lanche em várias cidades. Nesses pontos, funcionários humanos respondem a chefes automáticos. As gravações voltam para as avaliações, então o desenho das tarefas sai do que quebrou na loja e não do que parecia razoável no laboratório.
Pion, plataforma para negócios tocados por agentes
Lançada em setembro de 2026 como prévia de pesquisa, o Pion entrega ao agente e-mail, telefone, conta bancária, navegador e computação segura para tocar um negócio de ponta a ponta. A Andon banca alguns inscritos com tokens iniciais e fica com uma fatia pequena da receita que o agente gera. O acesso passa por lista de espera.
Detecção de trapaça e reward hacking
Nota vale pouco se o modelo colou na prova. A Andon publica a auditoria: uma revisão de 3.077 rodadas do Drone-Bench marcou exfiltração de dados e medidas escondidas no canal de feedback. Ver essa taxa ao lado do resultado deixa você descontar o número de um modelo que achou um atalho.
Tabelas de comparação entre modelos
Todo benchmark sai com tabela pública, margem de erro por rodada e notas sobre falhas de alinhamento. Lidas juntas, servem de checagem rápida de um lançamento, porque os resultados costumam aparecer dias depois de o modelo ficar disponível. Você também vê o custo por rodada, dado que pesa quando uma única execução do Vending-Bench queima dezenas de milhões de tokens.
Prós e contras
Prós
- Avaliações personalizadas feitas para a sua tarefa, não uma nota genérica que todo modelo passa.
- Acesso raro a implantações reais, então os modos de falha vêm de lojas e cafés em funcionamento.
- Auditorias de trapaça publicadas ao lado dos resultados, o que dificulta maquiar números em silêncio.
- Tabelas públicas atualizadas poucos dias depois de cada lançamento.
- Custo por rodada aberto, para você saber quanto uma avaliação completa custa de fato.
Contras
- Sem tabela de preços pública e sem compra direta: não dá para testar sem falar com o comercial.
- A troca de marca para Andon Labs tirou do ar as páginas do produto original, e links antigos agora não levam a lugar nenhum.
- O Pion segue em prévia de pesquisa com lista de espera, o que o tira de um lançamento para o mês que vem.
- As avaliações públicas miram negócios de horizonte longo e robótica, então uma tarefa de texto estreita recebe pouca cobertura pronta.
Perguntas frequentes
Monta e roda avaliações sob medida para modelos de fundação e agentes de LLM, cobrindo capacidade, segurança e confiabilidade em execuções longas. Empresas contratam o time quando um benchmark padrão não responde a uma pergunta sobre a própria implantação.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Vectorview.
Alternativas a Vectorview
Base Code
Base44 (Wix) · Programação · ProdutividadeO Base Code é um ambiente de desenvolvimento em nuvem compartilhado da Base44. O time descreve mudanças em um repositório do GitHub pelo chat, confere tudo na prévia e envia o resultado como pull request.
Google EmbeddingGemma 2
Google DeepMind · Escrita · Imagem · ProgramaçãoGoogle EmbeddingGemma 2 é um modelo aberto de 740 milhões de parâmetros que transforma texto, código, imagens, áudio e quadros de vídeo em vetores de um único espaço de 768 dimensões, rodando em celulares e notebooks.
GitGlow
GitGlow · Programação · ProdutividadeO GitGlow é um cliente Git de desktop que coloca seu código e as mudanças dos seus agentes de IA na mesma revisão, para você saber o que vai sair da máquina antes de publicar.