IA no atendimento: os quatro números que dizem se está funcionando

Colocar IA no atendimento é fácil. Saber se ela está ajudando é que exige disciplina — e a maioria das operações que acompanhamos mede exatamente a coisa que não revela o problema.

O indicador escolhido quase sempre é a satisfação média. Ele sobe um pouco, ninguém reclama formalmente, e a conclusão é que está funcionando. Enquanto isso, o cliente aprende a escrever "atendente" logo na primeira mensagem.

Por que a satisfação média não serve sozinha

A média junta dois públicos que tiveram experiências diferentes: quem foi atendido pela automação e quem foi atendido por uma pessoa. Se o segundo grupo é grande e bem atendido, ele carrega a média e esconde o primeiro.

A correção é simples e quase nunca feita: meça a satisfação dos dois separadamente, e compare a série de cada um com ela mesma ao longo do tempo.

Os quatro números

1. Taxa de escalonamento

Quantas conversas a automação passa para um humano. É o indicador de saúde mais direto, e ele tem duas leituras ruins:

• Alta demais — a IA não está resolvendo, e virou um degrau a mais antes do atendimento de verdade.
• Baixa demais — costuma ser pior. Ou a automação está resolvendo mal e o cliente desistiu, ou o caminho para o humano está escondido.

O alvo não é zero. É a faixa em que a IA resolve o repetitivo e entrega o resto rápido.

2. Reabertura em 24 horas

Conversa encerrada pela automação que volta no dia seguinte é o sintoma clássico de resolução aparente: a resposta pareceu boa, não resolveu. Esse número é o mais próximo de um detector de resposta inventada que se consegue sem ler conversa.

3. Correção na sugestão de resposta

Quando a IA sugere e o atendente envia, meça quanto da sugestão sobrevive. Reescrita quase total não significa modelo ruim — significa que a base de conhecimento está pobre, e o problema é de conteúdo, não de tecnologia.

4. Custo por conversa resolvida

IA generativa tem custo por uso, e ele escala com o volume. Acompanhe por tipo de uso desde o primeiro mês: é comum descobrir que uma fatia relevante do gasto está em tarefas que um fluxo determinístico resolveria melhor e mais barato.

Nem tudo precisa de modelo de linguagem

Uma distinção que economiza dinheiro e reduz risco: um fluxo que reconhece palavra-chave e responde algo previsto é determinístico — sempre responde a mesma coisa, e é auditável. Um modelo de linguagem gera texto novo a cada vez.

Para horário de funcionamento, segunda via de boleto e status de pedido, o fluxo determinístico é melhor: mais barato, previsível e incapaz de inventar. A IA generativa deve entrar onde a variação da pergunta é grande demais para ser mapeada.

Usar modelo de linguagem para responder o horário de funcionamento é caro e arriscado sem necessidade.

O que evita o constrangimento

Dois mecanismos decidem se a automação será tolerada:

Ancorar as respostas no material da empresa. Modelo sem base de conhecimento próprio responde com o que aprendeu genericamente — e no atendimento isso significa inventar prazo e política de troca. Ancorar e exigir que a resposta venha do que foi encontrado é o que reduz o problema; quando não há material, a saída correta é encaminhar para um humano. Tratamos do mecanismo e dos seus cuidados em RAG jurídico brasileiro: como funciona e quando usar com segurança — os princípios valem fora do jurídico.

Handoff que realmente interrompe. Pedido explícito de humano encerra a automação na hora, sem tentativa de retenção. A tentativa de convencer o cliente a continuar com o robô é o que produz as capturas de tela que circulam nas redes.

E a pergunta sobre o dado

Conversa de atendimento contém dado pessoal. Enviar tudo para um provedor externo sem critério é problema de LGPD antes de ser problema técnico. O que precisa estar claro no contrato: onde o processamento ocorre, se o conteúdo é usado para treinar modelos de terceiros — não deve ser —, e por quanto tempo fica retido.

O desenho completo desses quatro usos, com o handoff como condição de projeto e não como consequência acidental, está no blog do Dominus.OS, em IA no atendimento sem perder o humano. Para o indicador que a automação mais afeta — o tempo até a primeira resposta —, vale SLA de primeira resposta.