Métricas para chatbot: 8 KPIs para avaliar o sucesso do seu bot

Agora que você desenvolveu o seu chatbot, veja todos os principais KPIs aos quais você deve ficar atento para aprimorar e avaliar o impacto da ferramenta!

Se você conhece o poder dos bots, certamente já tem uma boa ideia de como desenvolver um  robô na sua empresa. Mas para que a sua estratégia seja um sucesso, ainda é preciso definir algo: as métricas para chatbot.

Isso significa quais métricas a equipe acompanhará. Afinal, o processo de aprimoramento deve ser contínuo e focado nas necessidades reais do cliente.

Nesse artigo vamos falar um pouco sobre os principais indicadores que devem ser usados para testar o desempenho do seu robô conversacional.

Assim, você pode planejar treinamentos e ajudá-lo a se tornar um verdadeiro membro do seu time. Confira logo a seguir!

1. Net Promoter Score (NPS)

O NPS é um excelente termômetro para sua estratégia com chatbots. Para acompanhar a métrica, você deve fazer a seguinte pergunta para o usuário ao final da sessão: de 0 a 10, como você avalia o atendimento?

Com o resultado, é possível dividir os clientes em três grupos:

• Promotores: são aqueles que voltariam a utilizar o bot e indicariam o serviço para outras pessoas. Marcaram 9 ou 10;
• Neutros: como o nome sugere, tiveram uma experiência neutra com o chatbot. Esses avaliaram com notas entre 7 e 8;
• Detratores: não gostaram da experiência e provavelmente contraindicarão o seu bot. São aqueles que assinalaram entre 0 e 6.

A maioria das empresas converte o NPS para um sistema de 5 estrelas. Para isso, basta enquadrar as notas que vimos acima em um espectro reduzido — as avaliações 9 e 10 estariam contempladas na quinta estrela, por exemplo.

2. Chatbot Rates (CR)

O CR é outra métrica interessante. Basicamente, ao final do atendimento ou de cada resposta oferecida ao usuário, você pede uma avaliação positiva ou negativa da experiência.

Aqui, vale abusar dos emojis: você pode criar botões “thumbs up” e “thumbs down”, por exemplo.

Exemplo:

Essa resposta foi útil?

? ou ?

Com os resultados, é possível direcionar o retreino do bot ou revisar as entidades e intenções que colocou no modelo de IA (se houver).

Não esqueça de considerar os usuários que não responderam ao questionário — o mesmo é válido no caso do NPS.

Entender o motivo de não terem interagido com o sistema de avaliação também pode trazer insights interessantes para promover melhorias e é uma das principais métricas para chatbot.

3. Fall Back Rates (FBR)

A maioria dos chatbots conta com respostas fall back, programadas para atender o usuário caso ele “explore” caminhos ainda não conhecidos pelo seu robô. Normalmente, o atendente virtual diz que não sabe atender aquela demanda.

Acompanhar a incidência desse tipo de resposta é fundamental. Afinal, isso pode significar a necessidade de treinamentos ou, simplesmente, a identificação de novas intenções e entidades não previstas na concepção do bot.

Se dividirmos o número de vezes que o chatbot teve que utilizar uma resposta fall back pelo total de mensagens, teremos a taxa de confusão.

Taxa de confusão = número de respostas fallback / total de respostas oferecidas

4. Usuários ativos

Essa métrica é bastante utilizada nas estratégias com chatbots. Com ela, você descobre quantas pessoas estão interagindo com o seu bot em um determinado período — pode ser um acompanhamento diário, semanal, mensal etc.

Se o número for baixo, significa que você deve repensar a sua abordagem, escolher outros canais e até rever o design do robô.

Para ter uma visão completa do cenário, uma métrica que costuma ser utilizada em conjunto com essa é a taxa de retenção.

5. Taxa de retenção

Como vimos, não basta acompanhar os usuários ativos, é preciso destinar uma atenção especial à taxa de retenção.

A métrica tem o objetivo de descobrir quantos usuários voltaram a utilizar o bot em um determinado período de tempo.

É claro, uma taxa de retenção alta significa que a sua estratégia está no caminho certo. Provavelmente os usuários estão satisfeitos e a conversação com o bot realmente atende as necessidades.

6. Interações por conversação

A taxa de interações por conversação tem como objetivo descobrir quantas vezes o usuário trocou mensagens com o seu bot durante uma sessão.

É preciso tomar muito cuidado ao utilizar essa métrica, pois cada chatbot possui estratégias e propósitos próprios.

Um chatbot destinado ao atendimento, por exemplo, pode ter taxas de interações baixas, já que o objetivo final é atender prontamente o usuário.

Se estivermos falando de um chatbot voltado para o entretenimento (storytelling), por outro lado, taxas de interações altas significam que os usuários estão explorando ao máximo todas as funcionalidades do robô!

7. Goal Completion Rate (GCR)

Será que o chatbot está cumprindo o seu propósito original? Para descobrir a resposta, é interessante acompanhar a Goal Completion Rate (GCR).

Essa métrica busca verificar quantas vezes o bot está fazendo as entregas esperadas pela empresa e pelo usuário.

Seu objetivo é captar leads? Então quantas vezes o chatbot conseguiu os dados solicitados ao usuário? A ideia é realizar um atendimento? Quantas vezes o bot foi capaz de solucionar o problema dos consumidores?

8. Session Length

A Session Lenght  (duração média da sessão) pode ser avaliada em conjunto com outra métrica que já vimos: as interações por conversação.

A diferença é que esse indicador fornece outros insights sobre o nosso robô conversacional.

Será que meu cliente perde muito tempo lendo as mensagens? Os botões utilizados são confusos? O texto é de fácil leitura?

Esses são apenas alguns exemplos de respostas que podemos obter com esse indicador.

Novamente, o critério de avaliação para o sucesso dessa métrica depende da estratégia e o propósito do chatbot.

Métricas para chatbot: como acompanhar?

Para a nossa sorte, a maioria das ferramentas destinadas ao desenvolvimento de chatbots possuem dashboards próprios, com as principais métricas a serem acompanhadas na sua estratégia. Alguns exemplos são interfaces como o Hubspot e o Blip.

Caso você utilize alguma ferramenta que não apresente os indicadores esperados, é interessante contar com soluções destinadas especificamente para a análise de chatbots, como o Chatbase e o Dashbot, por exemplo.

Leia também: Como construir um time de desenvolvimento de chatbot

Como melhorar os resultados?

Chatbots são ferramentas relativamente novas. Não existem modelos pré-formatados ou fórmulas mágicas para obter melhores resultados. A saída? Testar e explorar ao máximo o potencial da ferramenta!

Os testes A/B nunca foram tão importantes e são fundamentais para avaliar as métricas para chatbot. Você deve promover melhorias aos poucos e manter o monitoramento de cada uma dessas métricas.

Esse trabalho exige o máximo de criatividade dos UX writers e UX designers, que devem procurar novas formas de promover uma boa experiência para o usuário.

Agora que você já sabe como medir os resultados do seu chatbot, que tal se aprofundar no tema? Baixe o nosso guia prático de como implementar um bot de sucesso.