Classificação de estrelas ou pontuação de satisfação: o que o número significa?
História fictícia. Imagine que você está executando um serviço de transporte para indivíduos com deficiência, para que eles possam voltar e voltar dos lugares que precisam para viver vidas significativas. Este é um serviço compartilhado com assentos limitados e um conjunto limitado de motoristas. Você ainda tem um aplicativo para os usuários agendarem e monitorarem passeios. Você é orientado a dados; portanto, após cada passeio, o aplicativo leva os usuários a classificar seus drivers em uma escala de classificação de uma a cinco estrelas com base em sua pontuação de satisfação. Você constrói um painel e monitora isso com o tempo. A média sai para 4,67. Inicialmente, você definiu uma meta geral de 4,3 como um mínimo e 4,6 como uma meta de alongamento. Você vence seu gol! Yay. Simples: tudo está funcionando bem porque a pontuação de 4,67 de satisfação é muito boa, certo? Certo?
Depende
Bem, “o diabo está nos detalhes”, como dizem alguns … os humanos são complexos. Duas pessoas podem olhar para a mesma pergunta, o mesmo contexto, o mesmo tudo, e ainda assim chegar a uma interpretação diferente. Sem mencionar a inteligência artificial (AI). Os ingredientes estão todos lá. No entanto, algo está desligado …
Então, 4,67 é a pontuação de satisfação? Aqueles que trabalham comigo em dados (especialmente pesquisas e avaliações) provavelmente já estão ouvindo a resposta:
Depende de como você interpreta o resultado e do que está planejando fazer sobre isso.
Se você não planeja tomar nenhuma ação, é um resultado muito bom. Mas então por que estamos coletando os dados em primeiro lugar?
O que significa classificação de 4,67 estrelas?
Vamos torcer para que você não esteja planejando ações com base em uma única métrica (muito menos em uma média que você criou magicamente com as estrelas), mas assuma que esse número significa muito para sua organização. Vejamos os profissionais da abordagem de uma única pergunta primeiro:
- Você se importa.
Você mostra que se preocupa com os clientes e garante que todos os motoristas se comportem de acordo com os padrões estritos que você definiu. - Você coleta dados.
Sua coleta de dados é escalável, consistente e “confiável” enquanto o aplicativo funcionar. - Você não sobrecarrega os clientes com longas pesquisas.
Única pergunta. Sempre o mesmo, sempre no final, ao mesmo tempo, logo após o término de um passeio. A consistência é fundamental. - Você monitora seus dados.
Não apenas como uma única métrica, mas tende ao longo do tempo. Bom começo! - Você segmentando seus dados.
Por veículo, por rota, por motorista, etc., e você tem um plano proativo de agir imediatamente se algo acontecer. Ainda bem que você tem uma estratégia de dados. - Você planeja tomar decisões e agir nos resultados.
Você não tem idéia de quantos painéis morrem a longo prazo sem nenhuma decisão significativa tomada com base neles.
O que pode dar errado com essa abordagem?
Ah, os detalhes … antes de entrarmos nos detalhes, vamos começar com um experimento. Onde quer que você esteja, lendo este artigo, agora: diga a palavra “bem” em voz alta. Simplesmente diga a palavra. Espero que você não tenha causado alguma preocupação. Agora, imagine os seguintes cenários em que a resposta é a mesma palavra “bem”. Você não precisa dizer isso em voz alta, a menos que realmente queira entreter as pessoas ao seu redor.
a) Cenário da mãe entediada
Depois de três ligações perdidas de sua mãe, você finalmente pega o telefone só para dizer a ela que está ocupada quando ela pergunta: “Como você está?” – Multar.
b) Cenário de susto do gerente
Seu gerente pede que você entre no escritório deles (ou uma rápida chamada virtual individual) inesperadamente e coloca a pergunta na frente: “Como você está?” – Multar (?)
c) Sua chamada é importante para o cenário dos EUA
Após 3 transferências e 45 minutos em espera com o atendimento ao cliente, o quarto agente do departamento finalmente atende a chamada. Com entusiasmo repleto, o agente abre o Convo: “Como você está?” – Multar!
Matéria de contexto e percepção
O que esse experimento tem a ver com pesquisas de satisfação? O contexto e a percepção são importantes! Quem faz a pergunta, quando eles fazem a pergunta, como eles fazem a pergunta, com que frequência eles fazem a pergunta … todos os detalhes são importantes.
Sua resposta pode ser a mesma, mas o que você quer dizer com isso pode não. Quando você está em uma conversa direta com alguém, eles podem ler seu tom, sua linguagem corporal etc. Mas, enviar uma pergunta de pesquisa é diferente. Você está perdendo o contexto. Tem certeza de que está medindo o que está medindo? Tem certeza de que seus dados são confiáveis? Tem certeza de que suas “insights” estão corretas? Bamm, é muito a considerar!
Em meus workshops de alfabetização de dados, refiro -me a esses problemas em potencial coletivamente como Bamm (vieses, suposições, mitos e conceitos errôneos).
Aqui estão alguns dos detalhes sobre o que pode dar errado de ponta a ponta quando você é Bamm’ed:
- Falta de contexto
Você tem uma agenda e um objetivo em mente. No entanto, levaria muito tempo para explicar o contexto, então você apenas o resume em uma pergunta. Todo o contexto permanece na sua cabeça. No papel, é uma única frase, para a interpretação. - Viés de seleção
Você precisa decidir sobre seu público. Todos? Toda vez? Amostra? Anônimo, pseudo-anônimo, rastreando IDs de usuário? Isso traz privacidade e segurança de dados no mix. - Conceitos errôneos e interpretações errôneas
Você precisa então decidir as palavras exatas que você está usando. Todo. Solteiro. Palavra. Assuntos. (Você já tentou obter um consenso sobre uma pergunta simples de pesquisa em marketing, legal, produto, RH, etc.?) - Classificação de dados conceitos errôneos
Você precisa decidir que tipo de dados está coletando. O tipo de pergunta que você fará determinará o tipo de dados (não entra na classificação de dados aqui, mas você deve). Verdadeiro ou falso? Likert Scale? Slider? Selecionar único? Multi-Select? Matriz? Texto aberto? Combinação? - Tempo da pesquisa
Finalmente, você pousa em uma pergunta e o tipo. Quem vai conseguir essa pergunta? Quando? Como? - Problemas de validade
Em nossa história, eles decidem incluir a pergunta no aplicativo, logo após o término de um passeio, concentrando -se no motorista. Os dados podem ser válidos para um propósito, mas não para outro. Por exemplo, não há problema em usar cartas de disco para ter uma conversa sobre preferências, mas não deve ser usado para colocar pessoas em empregos. - Interpretação e contexto
O cliente recebe a pergunta. Lembra do experimento “fino”? O contexto em que o cliente responde à pergunta é importante, mas você não saberá nada, porque tudo o que você recebe é o número de estrelas. As estrelas podem capturar emoções não relacionadas ao que você está realmente pedindo. - Preconceitos
Fatores conscientes e inconscientes podem interferir na maneira como os clientes respondem. Por exemplo, as rações da estrada são muitas vezes reações impulsivas a experiências passadas. - Perguntas carregadas
Todo. Palavra. Assuntos. Para perguntas carregadas, você recebe respostas carregadas. Por exemplo, redigir a pergunta com palavras positivas, como “Conte -nos sobre o quão bom nosso representante de atendimento ao cliente …” pode influenciar a resposta. - Ambiguidade
O que é uma estrela vs. duas partidas? O cliente seleciona o número de estrelas. Em sua mente, há um contexto associado a cada estrela. Um é um showstopper e requer intervenção imediata. Cinco é uma ótima experiência. Bem, novamente, está em sua mente. Eu conheço pessoas que nunca dão um ou cinco. Eles o reservam para eventos extremos. - Manipulação de dados
Você recebe os dados. No entanto, não estamos mais falando de estrelas. Você transforma as classificações de cinco estrelas em números, assumindo uma escala suave de um a cinco. É realmente o mesmo para chegar de três a quatro para chegar de quatro a cinco? Tecnicamente, você acabou de introduzir um erro de arredondamento. Se você tratar seus dados como um intervalo contínuo de um a cinco, mas não permitir que os clientes selecionem nenhum número, estará arredondando os resultados deles em números inteiros. - Usando valores arredondados
Você calcula a média. O arredondamento é bom, mas você deve ter cuidado usando valores arredondados para outros cálculos. Basicamente, você força os clientes a selecionar um número inteiro, mas depois afirma que os segundos dígitos são significativos na média? Além disso, vai ser a média? Mediana? Você vai olhar para a distribuição? Outliers? Forma de seus dados? Ou apenas o número simples e simples.
E a lista pode continuar …
Que outros vieses podem interferir?
Seu aplicativo faz a questão da pontuação de satisfação no final do passeio. Isso potencialmente pode levar ao viés de sobrevivência, porque você só receberá feedback quando houve um passeio. Que tal cancelamentos? Você não gostaria de saber como seus clientes estão satisfeitos quando eles tiveram que cancelar uma carona?
Geralmente, as pessoas tendem a enviar respostas mais positivas nos escores de satisfação do que na realidade. Isso pode ser uma combinação de fatores. Expectativas sociais, querendo manter o serviço porque não há alternativa, selecionando a resposta que eles acham que é esperado versus como se sentem etc. Se você tiver várias perguntas, a ordem das perguntas pode interferir. A primeira resposta pode “ancorar” o resto. A ordem das opções também pode ser problemática. Existem maneiras de mitigar vieses, mas apenas se você estiver ciente de sua existência potencial e tiver um plano com antecedência.
Como você poderia melhorar sua pergunta para mitigar vieses?
Uma abordagem é fornecer um texto aberto condicional quando a resposta não é preferida. Se você fizer isso com uma única pergunta, ele pode ajudar os clientes a expandir sua seleção, apenas verifique se é opcional. Agora você tem dados quantitativos e qualitativos para trabalhar. É mais sutil.
Mas, se você tiver várias perguntas usando o mesmo método dentro de uma pesquisa, ele poderá ser percebido como irritante potencialmente porque está estendendo o tempo da pesquisa. As pessoas já não gostam de pesquisas, então, quando percebem você “trapaceando” por toda parte, isso pode ficar feio.
Palavra final sobre o 4.67
De volta à nossa história. Interpretar 4.67 como a pontuação geral da satisfação com o passeio pode ser enganosa. Sempre certifique -se de medir o que você pretendia medir e fornece informações acionáveis para a finalidade para a qual foi criado. Se você perguntar sobre o driver, os dados são sobre o driver e não sobre a própria unidade. Pessoalmente, para aprender pesquisas, descobri que o uso da abordagem de Will Thalheimer pode fornecer dados mais acionáveis e significativos mitigando muitos desses fatores mencionados acima (1).
Referências:
(1) Pesquisas de aluno e eficácia de aprendizado com Will Thalheimer
Publicado originalmente em www.linkedin.com