Medindo o intangível

Imagem: https://lateralworks.com/ideas/2019/1/16/freedom-to-act

Frequentemente ouvimos críticas às escalas subjetivas – como as usadas para medir o grau de satisfação, por exemplo – por serem pouco confiáveis. Entretanto, respeitados os critérios técnicos (tamanho, representatividade da amostra, etc.), este tipo de indicador é tão bom quanto qualquer outro. O problema é que muitas vezes, por desconhecimento ou má-fé, essas métricas sofrem influências indevidas. Um exemplo típico é trocar o mês em que é feita a pesquisa de clima na empresa, transferindo para um período logo após o aumento anual. A alteração equivale a uma mudança de escala, fazendo com que se perca a série histórica. Isto pode ser ótimo para mostrar resultados gerenciais no curto prazo, mas é péssimo como ferramenta de gestão e para a credibilidade da organização.

Uma referência interessante e útil para a gestão – medindo um aspecto subjetivo – é a chamada Escala de Liberdade de Oncken (devida a William Oncken II, presidente da William Oncken Corporation) que, analisando os ambientes quanto aos aspectos de delegação, identificou cinco níveis de liberdade e iniciativa que uma pessoa pode exercitar:

5 – Agir por si mesma e depois se reportar, conforme a rotina.

4 – Agir, mas notificar de imediato.

3 – Recomendar e, então, entrar em ação.

2 – Perguntar o que deve fazer.

1 – Esperar que alguém mande fazer algo.

Essa escala permite avaliar o progresso dos colaboradores e também a prática de gestão dos administradores. Serve, ainda, para ajudar a compor o perfil de alguns cargos.

A tendência são as Pulse Surveys

O estudo Melhores Práticas de Clima e Engajamento, da consultoria Willis Towers Watson [1] afirma que 73%, das 261 empresas brasileiras entrevistadas, realizam pesquisas com empregados (dessas, 52% anualmente e 37% a cada dois anos).

No entanto, 63% já perceberam a necessidade de conduzir pesquisas menores e mais frequentes (as chamadas pulse surveys). Hoje, apenas 25% realizam esse tipo de pesquisa. Ouvir os funcionários com mais frequência permite que as empresas e os líderes estejam mais bem preparados para priorizar e tomar decisões com perspectiva do que irá impactar mais o engajamento.

Fonte: 1. Revista Melhor. Abril 2018. p. 26.

Veja também: Escalas binárias (duas opções são suficientes)

Medidas subjetivas – Medindo a delegação

Uma referência interessante e útil para a gestão é a chamada Escala de Liberdade de Oncken (devida a William Oncken II, presidente da William Oncken Corporation) que, analisando os ambientes quanto aos aspectos de delegação, identificou cinco níveis de liberdade e iniciativa que uma pessoa pode exercitar:

5 – Agir por si mesma e depois se reportar, conforme a rotina.

4 – Agir, mas notificar de imediato.

3 – Recomendar e, então, entrar em ação.

2 – Perguntar o que deve fazer.

1 – Esperar que alguém mande fazer algo.

Essa escala permite avaliar o progresso dos colaboradores e também a prática de gestão dos administradores. Serve, ainda, para ajudar a compor o perfil de alguns cargos.

Escalas binárias (duas opções são suficientes)

Escalas com a de Likert são muito usadas, mas existe uma tendência para a simplificação. Pesquisas realizadas pela Maru/Matchbox [1] indicam que o uso de questões mais simples, com apenas duas opções de resposta, exigem um terço do tempo necessário para responder perguntas com maior número de alternativas. São igualmente eficazes e têm mais aceitação pelos respondentes, pois além da economia de tempo, são mais adequadas para pesquisas por meio de dispositivos móveis como os smartphones.

1 – Grenville, Andrew. What Works Better, Scaled or Binary Brand Ratings? Vision Critical University. Disponível em: http://resources.marumatchbox.com/hubfs/Idea_Filter_Evidence_of_a_sensitive_and_easy_to_answer_approach_to_idea_and_concept_testing.pdf?hsCtaTracking=caaf86a4-f07e-4bed-bbfe-2cf3a84d7004%7C7448a8dd-742b-4143-b634-26fe53d6639f Acesso em 17.11.17.

Entendendo a Escala de Likert

Likert

A Escala Likert ou Escala de Likert é uma das mais usadas em pesquisas de satisfação, inclusive sobre o ambiente de trabalho (clima organizacional).

Na escala, proposta por Rensis Likert [1], em 1932, os respondentes são solicitados a informar seu grau de concordância ou discordância com uma afirmação. A cada resposta é atribuído um número que reflete a atitude do respondente em relação a afirmação.

A escala típica é:

  1. Discordo totalmente.
  2. Discordo.
  3. Indiferente.
  4. Concordo.
  5. Concordo totalmente.

Nas pesquisa de satisfação é comum associar os itens aos termos:

  1. Muito insatisfeito
  2. Insatisfeito
  3. Indiferente
  4. Satisfeito
  5. Muito satisfeito

mas, outras possibilidades também são possíveis. Alguns pesquisadores preferem usar a chamada Escala de Likert Ampliada, com sete ou mesmo nove níveis, como exemplificado a seguir:

  1. Discordo totalmente
  2. Discordo moderadamente
  3. Discordo um pouco
  4. Nem concordo nem discordo
  5. Concordo um pouco
  6. Concordo moderadamente
  7. Concordo totalmente

Para evitar as respostas que não oferecem um posicionamento claro, costuma ser usada a chamada Escala de Likert Modificada, com apenas quatro opções, eliminando a opção “Indiferente”. Em alguns casos, como quando a pesquisa é informatizada e o sistema exige a escolha de uma resposta, pode ser interessante incluir também outras opções como:

  • Não se aplica;
  • Não conheço (o produto ou serviço) ou
  • Conheço (o produto ou serviço), mas não usei.

Para a análise, é importante entender que os itens são apenas dados ordenados; portanto, não se pode calcular médias para respostas na Escala Likert e faz mais sentido apresentar os resultados em cada categoria do que mostrar a média. Também é comum que as respostas 1 e 2 sejam analisadas como pertencentes a um mesmo grupo e as 4 e 5 a outro. Robert Wise [2] justifica esse cuidado com um exemplo: Na escala de 1 a 5, suponha que metade dos respondentes discordem fortemente (nível 1) e a outra metade concorde fortemente (nível 5). A média mostraria o nível 3, uma situação morna de “não concorda nem discorda” que, naturalmente não representa a realidade.

Referências

  1. Likert, Rensis (1932), “A Technique for the Measurement of Attitudes”, Archives of Psychology, 140: pp. 1-55. Disponível em: https://legacy.voteview.com/pdf/Likert_1932.pdf Acesso em 22.08.17.
  1. Wise, Robert, Managing with Measures: how to use performance measurement to manage for results and document success. Disponível em: www.managingwithmeasures.com/mwm-blog Acesso em 22.08.17.

Uma abordagem inovadora para as pesquisas

Na prática, são duas as opções

Na prática, são duas as opções

As primeiras pesquisas de opinião ou de satisfação eram objetivas e perguntavam se as pessoas queriam ou não um serviço, se gostavam ou não de um produto. Ao longo do tempo, as consultas foram se tornando mais complexas.

Hoje, tanto nas pesquisas junto aos colaboradores quanto nas de produtos e serviços, é usual adotar questões com múltiplas respostas, na tentativa de colher também o nível de satisfação ou de desagrado. Com esse propósito, é comum o uso da Escala de Likert, que normalmente oferece cinco possibilidades de resposta:

  1. Muito insatisfeito
  2. Insatisfeito
  3. Indiferente
  4. Satisfeito
  5. Muito satisfeito

É interessante observar que, apesar da quantidade de opções, na análise dos resultados é comum que as respostas 1 e 2 acabem somadas, assim como as respostas 4 e 5, resultando em apenas três grupos: Insatisfeitos, Indiferentes e Satisfeitos, evidenciando uma complexidade que acaba por trazer pouco benefício.

Agora, a Maru/Matchbox traz uma inovação simplificadora, ao sugerir que os questionários das pesquisas passem a oferecer apenas duas alternativas de respostas: Sim ou Não. Depois de muitas análises, a equipe técnica da Maru concluiu que a qualidade final dos resultados é tão boa quanto a dos questionários tradicionais e oferece as seguintes vantagens:

  • menor tempo de preenchimento (cerca de 50% do usual), o que resulta em maior percentual de respostas.
  • formulários mais simples e, portanto, mais adequados aos dispositivos móveis.

Que tal experimentar?

Referência: Maru/matchbox. Idea Filter: Evidence of a sensitive and easy to answer approach to idea and concept testing. Disponível em: http://resources.marumatchbox.com/hubfs/Idea_Filter_Evidence_of_a_sensitive_and_easy_to_answer_approach_to_idea_and_concept_testing.pdf?hsCtaTracking=caaf86a4-f07e-4bed-bbfe-2cf3a84d7004%7C7448a8dd-742b-4143-b634-26fe53d6639f&__hstc=58240629.adc8f3cf68c3a93276f9f6a86754fc53.1488835169103.1488835169103.1488835169103.1&__hssc=58240629.2.1488835169103&__hsfp=4279763413 Acesso em 6.03.17.