O que seus sistemas de IA
estão medindo agora mesmo?
Perissol mapeia, estrutura e mantém o que você mede sobre modelos em produção — com referências claras, faixas acordadas e registros que permitem comparação entre versões.
Três pontos de entrada para estruturar sua operação de avaliação
Revisão de Baseline de Observabilidade
Levantamento do que você mede hoje em sistemas já em produção: quais saídas são amostradas, com que frequência, por quem, contra qual referência, e o que acontece quando uma medida se move.
- Cobre até 3 sistemas em produção
- Entregue em 3 semanas
- Lista priorizada de métricas a adicionar
Configuração de Harness de Avaliação
Construção de um conjunto de avaliação repetível para um sistema: casos de referência extraídos do seu histórico, rubrica de pontuação acordada com a equipe responsável e formato de registro que permite comparação entre versões.
- Sessão de calibração incluída
- Transferência para sua equipe
- Configuração de execução agendada
Retainer de Revisão Contínua
Arranjo de doze meses com execuções mensais de avaliação, relatório escrito por execução, sessão trimestral para revisar o conjunto de referência e suporte quando uma medida sai da faixa acordada.
- Registro de limiares com responsáveis
- Adequado para 2–6 sistemas em produção
- Sessão trimestral de revisão
O que nos diferencia na prática
Cada medida registrada com faixa aceitável, responsável e o que foi alterado na última vez que o valor saiu da banda.
Resultados comparáveis entre versões de modelo graças ao formato de registro definido na configuração do harness.
Tudo que construímos vai para a sua equipe com documentação clara — sem dependência de consultoria para manter o processo.
Os casos de referência vêm do seu próprio histórico de uso, não de benchmarks genéricos que não refletem seu contexto.
O registro de limiares identifica por nome quem responde quando uma medida cruza a faixa — sem ambiguidade de responsabilidade.
Padrão de nota de deriva que documenta quando uma medida se moveu pela última vez e o que foi alterado em resposta.
Seus sistemas de IA têm referência de avaliação definida?
Se a resposta não for imediata, vale conversar. Uma revisão de baseline de três semanas mostra o que você mede hoje e onde estão os pontos cegos mais relevantes.
O que nossos clientes costumam perguntar
O que é uma "revisão de baseline de observabilidade"?
É um mapeamento do que você já coleta sobre seus modelos em produção: quais saídas são amostradas, com que frequência, quem analisa, contra que referência e o que acontece quando um número muda. O resultado é um documento de baseline com as lacunas identificadas e uma lista priorizada do que vale instrumentar primeiro.
Qual é a diferença entre o Harness e o Retainer?
O Harness é um engajamento pontual: construímos o conjunto de avaliação, calibramos, transferimos para sua equipe e encerramos. O Retainer é um arranjo de doze meses onde nós executamos, relatamos e revisamos mensalmente — adequado para equipes que preferem não manter essa operação internamente.
Quais tipos de sistema vocês conseguem avaliar?
Trabalhamos com sistemas de linguagem em produção — modelos de geração de texto, classificação, extração e sistemas de recuperação. O pré-requisito é que o sistema tenha saídas discretas que possam ser comparadas a uma referência.
Quanto tempo leva para começar?
Após o primeiro contato, normalmente alinhamos escopo em uma semana. A Revisão de Baseline começa imediatamente depois e dura três semanas. O Harness depende da complexidade do sistema, geralmente quatro a seis semanas.
Precisamos fornecer acesso direto ao modelo?
Não necessariamente. Trabalhamos com logs de saídas existentes, conjuntos de exemplos históricos e acesso de leitura aos registros de avaliação. Alinhamos o nível de acesso necessário no escopo inicial.
Como funciona a confidencialidade dos dados compartilhados?
Assinamos NDA antes do início de qualquer engajamento. Os dados compartilhados são usados exclusivamente para a entrega contratada e não são retidos após o encerramento. Nossa Política de Privacidade detalha as práticas.
Nossa Sede — Belém, Pará
Entre em Contato
Belém, PA — 66035-170