O número de consultas, usuários ativos ou solicitações executadas não mede o retorno sobre o investimento em inteligência artificial: mede sua utilização. São coisas diferentes, e confundi-las é o motivo pelo qual tantos projetos são apresentados como bem-sucedidos ao comitê, enquanto os resultados financeiros mostram apenas um fracasso.
Um sistema com alta taxa de adoção e retorno zero é perfeitamente possível. Aliás, esse é o cenário mais comum.
Uma métrica de utilização responde à pergunta: "As pessoas estão usando?". Uma métrica de retorno sobre o investimento responde: "A empresa está obtendo lucro?". Existe uma lacuna entre as duas que quase nunca é documentada.
O caso típico: uma ferramenta economiza quinze minutos por dia para oitenta pessoas. No papel, isso equivale a vinte dias úteis por mês. Na prática, são quinze minutos distribuídos e absorvidos em outras tarefas, sem que isso acarrete qualquer despesa adicional no orçamento.
A McKinsey quantificou o fenômeno em sua pesquisa de 2025 com 1.993 participantes em 105 países: 88,1% das organizações usam IA em alguma função, mas apenas 39,1% relatam impacto no EBIT, e apenas 6,1% ultrapassam 5,1% do EBIT atribuível. Alto uso, retorno raro.
Qualquer estudo de caso sério precisa explicar qual dessas três opções está sendo priorizada:
Um passo inteiro desaparece. Uma tarefa não é acelerada: ela deixa de existir. Uma validação que não é mais necessária porque os dados são verificados na origem.
Um maior volume é absorvido sem que a estrutura se expanda. A equipe gerencia mais um caso 30% com a mesma equipe. Este é o cenário mais comum em empresas em crescimento e o mais fácil de defender.
Um custo direto identificável é reduzido. Menos erros, menos retrabalho, menos penalidades contratuais, menos horas extras no fechamento do mês.
Se um projeto não consegue especificar qual dos três busca, ele não tem justificativa comercial. Ele tem uma expectativa razoável, que é algo completamente diferente.
Métricas | O que ele mede? | Por que isso importa |
|---|---|---|
Tempo de ciclo | Desde o momento em que um caso é aberto até o seu encerramento. | Isso reflete todo o processo, não apenas a tarefa. |
Custo por caso resolvido | Custo total dividido pelo número de casos encerrados | É comparável ao processo anterior. |
Taxa de erro ou retrabalho | Casos que precisam ser corrigidos posteriormente | Detecta poupanças que são pagas em outro lugar. |
Capacidade absorvida | Volume gerenciado com a mesma estrutura | Transforme economias em crescimento. |
A terceira opção evita a armadilha mais cara. Um sistema que resolve casos por €0,40 em comparação com €3 para o processo manual parece um sucesso estrondoso, até que se descubra que o formulário 20% requer uma correção subsequente de €5. O resultado final é diferente e só se torna aparente se alguém o medir.
Nenhuma dessas métricas é útil sem o valor anterior. E o momento de capturar esse valor é antes de fazer qualquer alteração, porque depois disso, ele não pode ser reconstruído sem discussão.
Quatro pontos de dados, medidos ao longo de duas ou três semanas:
Este trabalho possui uma característica valiosa: Isso produz resultados mesmo que o projeto não seja executado.. A medição de um processo revela gargalos que, às vezes, podem ser corrigidos sem o uso de tecnologia.
A segunda disciplina que diferencia os projetos bem-sucedidos daqueles que se arrastam indefinidamente é definir antecipadamente o número que determina se o projeto deve continuar ou ser interrompido.
Deve atender a três condições: ser uma métrica de negócios, ter um valor específico e ter um prazo. "Se o custo por caso não cair abaixo de X em oito semanas, pararemos" é um limite. "Avaliaremos continuamente o impacto" não é.
Sem um limite definido por escrito, a avaliação só ocorre quando já se investiu tanto que não é mais possível admitir que não está funcionando. Esse é o mecanismo que produz os programas-piloto permanentes que descrevemos em o purgatório do piloto
Um cálculo honesto de retorno deve subtrair cinco itens, não apenas um:
Apresentar um retorno que apenas subtrai o consumo produz um número que não resistirá a uma análise séria. Desenvolvemos isso em Orçamento para IA como produto, não como campanha.
Em qualquer relatório de resultados de projetos de IA, há uma pergunta que esclarece a conversa em segundos: Qual rubrica orçamentária foi alterada?
Se houver uma resposta positiva — como a redução da demanda por esse item, o aumento do volume de trabalho da equipe ou o desaparecimento de penalidades —, há um retorno. Se a resposta descrever a satisfação do usuário, o número de consultas ou uma percepção de agilidade, há adoção.
A adoção é um pré-requisito para o retorno. Ela não é o retorno em si.
Com quatro métricas de negócios: tempo total do ciclo do processo, custo por caso resolvido, taxa de erros ou retrabalho e capacidade absorvida com a mesma estrutura. O número de usuários, consultas ou solicitações mede a adoção, não o retorno.
Porque quinze minutos economizados para oitenta pessoas são absorvidos por outras tarefas sem gerar qualquer rubrica orçamentária. A economia só se torna realidade se uma etapa do processo for eliminada, se um volume maior for absorvido sem expandir a estrutura ou se um custo direto identificável for reduzido.
Este é o estado do processo antes da intervenção: número de casos, tempo por caso, incluindo períodos de espera, percentual que necessita de correção e custo total por caso. Esses dados devem ser coletados por duas ou três semanas antes de qualquer alteração, pois não podem ser reconstruídos posteriormente sem discussão.
Cinco: consumo do modelo com novas tentativas e picos, tempo de supervisão humana que é reduzido, mas não eliminado, avaliação contínua do desempenho, operação e manutenção, e correção de erros com seu impacto no cliente.
É o valor que determina antecipadamente se um projeto continua ou é interrompido. Deve ser uma métrica de negócios, ter um número específico e uma data: por exemplo, se o custo por caso não cair abaixo de um determinado valor em oito semanas, o projeto é interrompido.
Qual rubrica orçamentária sofreu alterações? Se a resposta identificar uma rubrica que diminuiu, uma equipe que está lidando com mais trabalho ou penalidades que desapareceram, houve retorno sobre o investimento. Se descrever a satisfação do usuário ou o número de consultas, houve adoção.
Seu projeto de IA possui uma linha de base e um limite de decisão? Definimos as métricas, medimos o estado atual e estabelecemos o número que determinará se ele continua. Duas horas de análise, sem compromisso. Vamos conversar → |