O 2,9x precisa de contraprova

Fala, pessoal. Jonata aqui.

No relatório diário de 8 de julho, o sistema da Olympus listou 12 registros de sessões de agentes analisados, ferramentas novas e dashboards atualizados.

Parecia uma semana cheia.

No mesmo relatório, ainda havia entregáveis pendentes e telemetria degradada. O sistema estava produzindo sinais de atividade mais rápido do que eu conseguia provar resultado.

A régua operacional daquela semana era menos sofisticada: colocar um produto de IA estável em produção, enviar uma proposta, definir o próximo gate de um cliente e registrar leads reais.

Foi um lembrete incômodo. Infraestrutura deixou de contar como prova de progresso. Ela virou insumo.

Quando li o relato de Amjad Masad sobre a self-driving company da Replit, o número que saltava da tela era 2,9x.

Segundo a própria Replit, uma coorte constante de engenheiros passou a produzir 2,9 vezes mais linhas de código em seis meses. O volume total subiu 5,8 vezes. A latência de review ficou estável, reversões e incidentes não cresceram.

Tickets difíceis de suporte foram resolvidos mais rápido e uma ferramenta interna substituiu um SaaS de sete dígitos.

É uma medição mais séria do que simplesmente contar prompts ou PRs.

Mesmo assim, o 2,9x ainda precisa de contraprova.

O denominador que sumiu

“Mesma coorte” elimina uma explicação óbvia: contratar mais gente.

Mas não responde outra pergunta: as mesmas pessoas trabalharam a mesma quantidade de horas?

O próprio relato descreve um sprint em que algumas jornadas chegaram a 16 horas. Não sabemos o tamanho da coorte, a distribuição dessas horas ou o método usado para atribuir linhas de código a humanos e agentes.

Isso não invalida o caso. Apenas limita o que o número consegue provar.

Produtividade por engenheiro pode subir porque cada pessoa ganhou mais alavancagem. Também pode subir porque cada pessoa trabalhou mais. O numerador é igual; a empresa resultante não é.

Na Olympus, essa diferença define sucesso ou fracasso. Nossa meta não é aumentar entregas a qualquer custo. É aumentar projetos concluídos enquanto as horas pessoais caem e o faturamento sobe.

Se o output triplica junto com as horas, a automação acelerou a empresa e cobrou a diferença da vida de quem opera.

Toda métrica celebrada precisa de uma métrica-sombra

Linhas de código mostram o ganho visível. A métrica-sombra procura onde o custo reapareceu.

Para código, ela pode ser tempo humano de review, reversão, incidente, manutenção ou ticket reaberto.

A Replit acompanhou várias dessas sombras. Isso é um mérito real do relato. Mas o texto não esclarece, por exemplo, se incidentes estáveis significam números absolutos ou taxas ajustadas ao crescimento de 5,8 vezes no volume.

A diferença importa.

Se incidentes ficam estáveis enquanto o volume cresce, o sinal é forte. Se a janela é curta demais para capturar dívida de manutenção, a resposta pode aparecer meses depois.

A mesma lógica vale fora da engenharia:

• Conteúdo produzido: respostas úteis, conversas comerciais e horas de edição viram métricas-sombra.

• Suporte mais rápido: tickets reabertos, escaladas e satisfação mostram se a velocidade foi real.

• Prospecção automatizada: reuniões qualificadas e rejeições por spam revelam o custo deslocado.

• Pesquisa por agentes: decisões tomadas e erros descobertos depois medem se o relatório serviu para alguma coisa.

A métrica-sombra não existe para frear automação. Ela existe para impedir que o custo seja empurrado para um lugar que o dashboard principal não mostra.

Resultado externo fecha a conta

Projetos concluídos mais rápido são melhores do que linhas de código. Ainda assim, continuam dentro da operação.

O dado mais forte da Replit é econômico: uma ferramenta interna substituiu um SaaS de sete dígitos. Falta contexto sobre moeda, período contratual e economia realizada, mas ali existe uma consequência fora do sistema de engenharia.

Na Olympus, estamos aplicando a mesma pressão à nossa régua.

Um deploy verde é ganho visível. Estabilidade em produção é métrica-sombra. Uso pelo cliente e tempo devolvido fecham a conta.

Uma proposta escrita por agente é ganho visível. Retrabalho de revisão é métrica-sombra. Resposta, negociação ou receita são resultado externo.

Um lead registrado é ganho visível. Qualidade da conversa é métrica-sombra. Conversão é resultado externo.

Eu ainda não posso dizer que fechamos esse loop em todos os workflows. Esta é a carga de prova que estamos começando a exigir na Olympus.

Isso muda uma decisão prática: perfil novo, integração nova ou relatório novo não recebe crédito sozinho. Precisa apontar para uma entrega, uma redução de custo, uma decisão melhor ou uma hora devolvida.

A contraprova em quatro linhas

Antes de chamar um workflow de “3x mais produtivo”, escreva:

1. Denominador

Mesma pessoa, mesmas horas, mesma janela e volume comparável. Declare o que não conseguiu controlar.

2. Ganho visível

O número que subiu: código, tickets, propostas, campanhas, pesquisas ou entregas.

3. Métrica-sombra

O custo que não pode piorar: retrabalho, incidentes, supervisão, manutenção, rejeição ou interrupções humanas.

4. Resultado externo e regra de decisão

Adoção, receita, custo eliminado, retenção ou tempo devolvido. Defina antes o que fará você manter, ajustar ou desligar a automação.

Essa última linha evita uma armadilha comum: olhar para o experimento depois e escolher a métrica que ficou bonita.

As métricas DORA fizeram essa disciplina avançar no software ao medir throughput junto com instabilidade. O framework SPACE reforça o mesmo limite por outro caminho: produtividade não cabe numa métrica única.

Com agentes, esse cuidado precisa sair da engenharia e acompanhar a empresa inteira.

O que EU realmente penso

A expressão self-driving company é provocativa. O risco é imaginar que o objetivo seja fazer a organização girar o mais rápido possível.

Eu quero outra coisa para a Olympus.

Quero que agentes comprimam o caminho até uma entrega sem ampliar a carga de supervisão. Quero que a empresa ganhe velocidade e devolva tempo. Quero uma calm company com mais consequência econômica e menos heroísmo operacional.

Por isso, jornadas de 16 horas não são uma nota de rodapé no caso Replit. Elas fazem parte do denominador.

O ganho de IA só conta quando três coisas viajam juntas: throughput, métrica-sombra e resultado externo.

Sem as três, o 2,9x pode ser real e ainda assim ser emprestado.

Sua missão para os próximos 7 dias

1. Escolha um número que sua empresa está comemorando. Pode ser código, conteúdo, tickets, leads ou horas automatizadas.

2. Escreva a contraprova antes de olhar os resultados. Denominador, métrica-sombra e o limite que não pode piorar.

3. Defina a consequência externa e a regra de decisão. O que precisa acontecer para manter o workflow? O que fará você ajustar ou desligar?

Use sete dias para workflows de alta frequência. Para receita, retenção ou incidentes raros, trate a semana como coleta inicial, não como conclusão.

Conteúdos recomendados

• Replit: The Self-Driving Company: o relato original e os dados auto-reportados.

• DORA: Software delivery performance metrics: como medir velocidade junto com instabilidade.

• Microsoft Research: The SPACE of Developer Productivity: por que produtividade não cabe numa única métrica.

Forte abraço,

Equipe Olympus