Três pontos de entrada para organizar
a avaliação dos seus modelos em produção
Cada serviço tem escopo, duração e entregável definidos. Você escolhe o que faz sentido para onde sua equipe está hoje.
Voltar ao InícioComo estruturamos o trabalho
Todo engajamento começa com o que já existe: os sistemas em produção, os logs disponíveis, e o que a equipe já tenta medir. Não partimos de um template de avaliação genérico — partimos do seu contexto específico.
A sequência natural é: primeiro entender o que você tem (Baseline), depois construir um processo repetível (Harness), e por fim manter esse processo funcionando ao longo do tempo (Retainer). Você pode entrar em qualquer ponto dessa sequência.
Revisão de Baseline de Observabilidade
Um levantamento do que você mede hoje sobre sistemas já em produção: quais saídas são amostradas, com que frequência, por quem, contra qual referência, e o que acontece quando uma medida se move. Entregamos um baseline escrito com as lacunas identificadas e uma lista priorizada de métricas que valem adicionar primeiro. Cobre até três sistemas de produção ao longo de três semanas.
O que está incluído
- Revisão de até três sistemas em produção
- Documento de baseline com cobertura atual de métricas
- Mapeamento de responsáveis atuais por cada medida
- Lista priorizada de métricas a adicionar
- Apresentação de resultados com a equipe responsável
Etapas do processo
Alinhamento de escopo e assinatura de NDA
Coleta de logs, documentação existente e entrevistas com a equipe
Análise de cobertura e identificação de lacunas
Entrega do documento de baseline e apresentação
Configuração de Harness de Avaliação
Construção de um conjunto de avaliação repetível para um sistema: um conjunto curado de casos de referência extraídos do seu histórico real, uma rubrica de pontuação acordada com a equipe responsável, uma configuração de execução agendada e um formato de registro escrito que permite comparação entre versões. Inclui sessão de calibração e transferência para sua equipe de engenharia.
O que está incluído
- Curadoria de casos de referência do histórico real
- Rubrica de pontuação calibrada com a equipe
- Configuração de execução agendada
- Formato de registro comparável entre versões
- Sessão de calibração e handover para engenharia
Etapas do processo
Alinhamento de escopo, NDA e acesso a logs históricos
Curadoria e revisão do conjunto de casos de referência
Construção da rubrica e calibração com a equipe responsável
Configuração da execução agendada e sessão de transferência
Retainer de Revisão Contínua
Um arranjo de doze meses com execuções mensais de avaliação, relatório escrito por execução, sessão trimestral com a equipe responsável para revisar o conjunto de referência conforme o uso muda, e suporte quando uma medida sai da faixa acordada. Inclui um registro de limiares mantido com responsáveis nomeados por função. Adequado para equipes com dois a seis sistemas em produção.
O que está incluído
- 12 execuções mensais de avaliação
- Relatório escrito por execução com nota de deriva
- 4 sessões trimestrais de revisão do conjunto de referência
- Registro de limiares mantido com responsáveis nomeados
- Suporte quando medida sai da faixa acordada
Ciclo mensal
Execução do harness contra o conjunto de referência atual
Registro de resultados e identificação de deriva
Emissão do relatório mensal com nota de deriva se aplicável
Revisão trimestral do conjunto de referência com a equipe
Qual serviço é o certo para o seu momento
Use a tabela abaixo para identificar o ponto de entrada mais adequado. Se você já tem um Harness configurado e quer ajuda para operá-lo continuamente, o Retainer pode ser o início — sem necessidade de percorrer a sequência completa.
| Recurso / Situação | Baseline R$ 890 |
Harness R$ 2.940 |
Retainer R$ 5.280/ano |
|---|---|---|---|
| Não sabe o que está medindo hoje | — | — | |
| Precisa de um processo de avaliação repetível | — | — | |
| Quer manter a avaliação funcionando sem esforço interno | — | — | |
| Casos de referência do histórico real | — | ||
| Registro de limiares com responsáveis | — | — | |
| Relatório mensal com nota de deriva | — | — | |
| Sessão de calibração com equipe | — |
Recomendamos iniciar pelo Baseline se você ainda não tem clareza sobre o que está sendo medido hoje.
Protocolos que atravessam todos os serviços
NDA antes do início. Dados de produção usados exclusivamente dentro do escopo contratado e não retidos após o encerramento.
Todos os entregáveis são documentos escritos em formato que a equipe de engenharia já usa. Sem ferramenta adicional para instalar.
Nenhuma pontuação é registrada antes de a rubrica ser calibrada com a equipe responsável pelo sistema avaliado.
Cada resultado usa o mesmo modelo: data, versão do modelo, conjunto de referência e pontuação. Comparação entre execuções é direta.
Preços publicados, escopo definido
- Até 3 sistemas em produção
- Documento de baseline
- Lista priorizada de gaps
- Apresentação de resultados
- 1 sistema coberto
- Conjunto de referência curado
- Rubrica calibrada
- Execução agendada configurada
- Sessão de transferência
- 2–6 sistemas em produção
- 12 execuções mensais
- Relatórios com nota de deriva
- 4 sessões trimestrais
- Registro de limiares mantido
Qual serviço se encaixa no seu momento atual?
Entre em contato para uma conversa breve sobre os seus sistemas em produção. Se o momento não for o certo para nenhum dos serviços, diremos isso também.
Solicitar Conversa