Como medir ROI de IA

A resposta curta

Escolha um número que já existe no seu negócio, meça antes de construir, e mude uma coisa. É esse o método inteiro, e quase ninguém segue.

O que normalmente acontece é uma planilha montada depois do fato, multiplicando uma economia de tempo suposta por um número de pessoas por um custo-hora. Isso produz um valor impressionante e não convence ninguém que esteja prestando atenção.

Por que a conta usual é ficção

O modelo padrão pega horas economizadas por pessoa, multiplica por pessoas, multiplica por custo-hora, e chama o produto de retorno. Todo termo dessa cadeia é estimativa, e os erros se multiplicam em vez de se cancelar.

Pior: hora economizada não é dinheiro recuperado a menos que algo tenha mudado na linha de custo ou na de produção. Se o mesmo time continua trabalhando as mesmas horas, a economia é real para ele e invisível para o financeiro, e o financeiro é quem aprova a próxima fase.

Um número que seu CFO consegue verificar num sistema em que ele já confia vence um número maior que você construiu.

Escolha o número antes de construir

Ele já deve estar instrumentado, já ser reportado, e já importar para alguém sênior. Taxa de conversão num passo específico. Custo por chamado resolvido. Taxa de aprovação. Dias para fechar. Taxa de erro num processo com custo de retrabalho.

Se não está medido, sua primeira tarefa não é IA, é medição, e fingir o contrário é como projetos acabam sem conseguir provar nada. Escreva o número, com o valor atual e a data, antes de existir uma linha de código.

As quatro formas que o valor assume

Receita. Mais conversão, pedido maior, retenção melhor. A mais fácil de defender e a mais difícil de atribuir com limpeza.

Custo. Menos horas por unidade, menos retrabalho, menor custo de servir. Verificável se o custo era acompanhado antes.

Risco. Menos erro, melhor conformidade, menos incidente. Valorado pelo que um incidente custa, que o financeiro costuma saber precificar.

Velocidade. Ciclo mais rápido. Só é real se a velocidade se converter numa das outras três, então diga em qual.

Linha de base e o contrafactual

A pergunta mais difícil que você vai ouvir é se o número teria se movido de qualquer jeito. Sazonalidade, mudança de preço, uma campanha, um concorrente tropeçando.

A resposta limpa é um grupo de controle: rodar o caminho novo para uma parte do tráfego e o antigo para o resto, ao mesmo tempo. Se isso for genuinamente impossível, use um período anterior longo o bastante para mostrar a tendência, e seja explícito sobre o que você não consegue descartar.

Declarar a limitação você mesmo é muito mais forte que ser pego por ela. Executivo desconta número que chega sem ressalva, e faz bem.

O que medir durante o piloto

O número de resultado, obviamente. Mas também os operacionais que preveem se aquilo sobrevive: com que frequência um humano precisou intervir, com que frequência o sistema recusou ou escalou, e a tendência de qualidade em tráfego amostrado.

Um piloto que bate a meta exigindo intervenção constante não provou o que as pessoas acham que provou. Esses sinais vêm de evals de LLM e observabilidade, e sem eles você está reportando um resultado sem explicação anexada.

Os custos que as pessoas esquecem

Denominador sai pequeno demais. Inclua o trabalho de integração, não só a construção. Inclua custo de operação em volume de produção, não de piloto. Inclua a avaliação e o monitoramento que você agora mantém. Inclua o tempo interno, que é dinheiro real mesmo sem aparecer em nota fiscal.

E inclua a manutenção com que você se comprometeu, porque sistema em produção é obrigação, não compra. A abertura completa está em quanto custa um agente de IA.

Quando encerrar

Escreva a regra de encerramento antes de começar, quando ninguém está emocionalmente investido. Se o número não se moveu até esta data, a gente para. Depois honre isso.

O modo de falha aqui não são projetos que fracassam, são projetos que continuam em silêncio. Projeto sem regra de encerramento não pode ser encerrado, só definhado, o que desperdiça mais que uma parada limpa e ensina à organização que iniciativa de IA é permanente independente de resultado.

Como reportar a um CFO

Comece pela métrica, o valor antes, o valor depois, e o período. Depois o custo, inteiro. Depois a ressalva que você não consegue descartar. Depois o que você faria em seguida e quanto custaria.

Não comece pela tecnologia. Um CFO não precisa saber qual modelo você usou, e mencionar isso primeiro sinaliza que a tecnologia era o ponto, não o resultado. Esse enquadramento é também a diferença entre parceiro e fornecedor, que é o raciocínio por trás de IA em produção, ponta a ponta.