Pode-se confiar nas pesquisas de satisfação?

Nas pesquisas de satisfação, independentemente de quão claras as instruções possam ser, as pessoas irão interpretá-las ou despreza-las acidentalmente. Os cientistas categorizam isso como erros de resposta. Em média, 6% a 20% de todas as pesquisas concluídas pelos clientes contêm erros de resposta. É um fato inevitável da realização de um programa de pesquisa válido.

Além disso, aumentar o tamanho da amostra não elimina o problema, mas traz erros ainda maiores. Portanto, você deve corrigir esses erros usando uma abordagem sistemática e consistente para fornecer a máxima integridade, precisão e imparcialidade para criar relatórios a partir de pesquisas.

Reproduzido de: Rembach, Jim. Survey Calibration Improves Employee Buy-in. Disponível em  http://metrics.net/what-is-survey-calibration/. Acesso em out. 2012.

Amostragem com viés

Em 1936, a Literary Digest realizou uma pesquisa eleitoral para a presidência dos Estados Unidos que recebeu mais de 2 milhões de respostas, prevendo que Alfred Landon prevaleceria sobre Franklin Roosevelt por uma margem de dois dígitos. Na verdade, Roosevelt venceu de lavada.

A Literary Digest errou ao conduzir sua pesquisa por telefone, que na época era desproporcionalmente usada pelos ricos. Nesse sentido, a enorme amostra ainda era muito pequena. Analogamente, hoje, petabytes de dados de mídias sociais não são garantia para refletir com precisão os sentimentos da população de interesse.

O “como” faz toda a diferença

Você tem dúvidas se a forma de perguntar afeta o resultado de uma pesquisa ou enquete? Veja isso:

O famoso chef de cozinha Gordon Sinclair conseguiu reduzir o número de reservas canceladas sem aviso de 30 para 10% por conta de uma mudança mínima no discurso da recepcionista que recebia as reservas. Transformou a recomendação “Por favor, avise se mudar de planos” em uma pergunta “O senhor nos avisará se mudar de planos, certo?”. A resposta “sim” cria um comprometimento que não havia anteriormente.

Absenteísmo médico

Médico engessando braço de trabalhador.

A “Pesquisa sobre a gestão de saúde corporativa”, realizada pela ABRH Brasil e pela Aliança para a Saúde Populacional (ASAP) em maio e junho de 2017 e respondida por 668 profissionais de recursos humanos, concluiu que:

  • 51% das empresas não têm programas estruturados para gerenciamento de grupos de risco como diabéticos, hipertensos etc., que costumam ser os usuários de maior custo para os planos de saúde.
  • Em 81% delas, os custos subiram acima da inflação dos 12 meses anteriores; em 55% delas, mais do que o dobro da inflação.
  • 40% não utilizam a coparticipação nas consultas e exames, pagando integralmente seu valor.
  • 54% não trabalham com indicadores.

Fonte: Revista Melhor. Julho 2017. p. 35.

Análise crítica

Foto de parque, com montanha russa em primeiro plano.

A notícia abaixo evidência um problema comum nos trabalhos de ranqueamento ou benchmarking. As pessoas que dão uma nota elevada ao Beto Carrero estão expressando seu nível sua satisfação com a experiência. Mas, a nota não tem valor comparativo pois, em sua maioria, os respondentes não conhecem outros parques, como os da Disney e da Universal. Nesses casos, a influência do “grau de exigência” dos avaliadores é que acaba definindo os resultados, distorcendo a comparação. Para ter validade, a pesquisa deveria ser feita apenas com pessoas que visitaram os parques que se deseja comparar.

Beto Carrero é escolhido um dos dez melhores do mundo

Marcela Munhoz

Apesar do fechamento do Playcenter e das notícias sobre a situação do Hopi Hari, o País ainda tem um parque que vem chamando a atenção. É o Beto Carrero World, localizado no litoral Norte de Santa Catarina. Em 2016, apresentou crescimento de 24% em faturamento e 2 milhões de visitantes. O considerado maior parque da América Latina figura lista dos dez melhores do planeta. A escolha foi feita em concurso mundial promovido pela Tripadvisor.

O Beto Carrero ocupa a sétima colocação em ranking que inclui a Universal’s Islands of Adventure, o Discovery Cove e o Magic Kingdom, em Orlando (Estados Unidos); Europa-Park em Baden-Wurttemberg (Alemanha), a Universal Studios Hollywood, em Los Angeles (Estados Unidos) e o Le Puy du Fou, em Les Epesses (França). O parque brasileiro deixou para traz a Universal Studios, o Epcot e o Animal Kingdom, em Orlando.

Fonte: https://www.dgabc.com.br/Mobile/Noticia/2713631/beto-carrero-e-escolhido-um-dos-dez-melhores-do-mundo 29/06/2017 às 07:00. Acesso em 13.06.18.

The Insights Revolution: Questioning everything – Comentários sobre o livro

Capa do livro "The Insights Revolution: Questioning everything".

O autor, Andrew Grenville, da Maru/Matchbox – empresa de pesquisas de mercado baseada em Toronto, Canadá – é um profissional experiente. No livro, recém-lançado, ele enfatiza que a indústria de pesquisas, como conhecemos, está condenada. Mas, aponta direções e talvez a mais importante seja deixar de responder perguntas para se aprofundar nas questões que podem beneficiar o negócio oferecendo insights. Ele afirma que, para isso, os profissionais do segmento terão de mudar, tornando-se mais generalistas.

Entre os questionamentos que faz, destaco dois:

  • Muitas pesquisas são feitas com amostras não representativas ou pouco confiáveis.
  • Quando perguntamos às pessoas o que é importante, obtemos respostas socialmente aceitáveis. O que não se consegue é que respondam o que realmente fazem e como realmente decidem. Recebemos informações enganosas porque as pessoas estão sempre prontas para dar respostas plausíveis às perguntas – mesmo que não saibam a resposta.

E aponta direções, como:

  • Uma forma de simplificar as pesquisas é ter clareza sobre o quê se deseja saber. Parece óbvio, mas frequentemente não acontece.
  • Usar escalas mais simples, como a binária, ao invés de escalas com muitas opções.

O conteúdo é enriquecido com muitas entrevistas de especialistas de grandes e conhecidas empresas, com bons argumentos,  resultantes da vasta experiência profissional do autor.

Dica: Insight – um claro, profundo e algumas vezes repentino entendimento de um problema ou situação complicada. The Cambridge Dictionary.

O livro

Grenville, Andrew. The Insights Revolution: Questioning everything. Maru/Matchbox. Disponível em https://www.theinsightsrevolution.com.

Erros em pesquisas eleitorais

Urna eletrônica

Ultimamente os resultados das pesquisas eleitorais feitas por institutos de renome têm sido questionados, prejudicando a credibilidade desse tipo de trabalho.

A associação das empresas de pesquisa deveria desenvolver um sistema para calcular e comunicar a “margem de erro histórica” – isto é, a precisão das pesquisas em comparação com os resultados eleitorais reais, que capturariam erros do mundo real em vez de erros estatísticos meramente teóricos.

Fonte: The report “A Review of the Public Opinion Polling Conducted During the 2017 Calgary Election”, prepared for the Marketing Research and Intelligence Association by Christopher Adams, Paul Adams and David Zussman.

Pesquisas – Melhores empresas para trabalhar

Exame - Melhores empresas

Como são as duas pesquisas de “melhores empresas para trabalhar” no Brasil?

No que diz respeito à coleta de dados, as metodologias das duas pesquisas são semelhantes. Mas que tipo de empresa é a “melhor para trabalhar”, segundo essas pesquisas?

A Pesquisa GPTW/Época parte de um modelo em que um bom ambiente de trabalho é descrito como um lugar no qual você confia nas pessoas para quem trabalha, tem orgulho do que faz e gosta dos colegas. De acordo com esse modelo, o funcionário de qualquer organização desenvolve três relações básicas no ambiente de trabalho: a primeira com a direção da companhia em todos os níveis (Confiança, subdividida nas categorias Credibilidade, Respeito e Imparcialidade), a segunda com a própria tarefa, o trabalho da equipe e a contribuição da empresa para a comunidade (Orgulho), e a terceira com os colegas (Camaradagem). Cada uma dessas cinco categorias (Credibilidade, Respeito, Imparcialidade, Orgulho e Camaradagem) tem peso semelhante no questionário, respondendo por aproximadamente 20% cada uma.

E na Pesquisa USP/Exame?

Na Pesquisa USP/Exame, realizada pela primeira vez em 2006, o modelo teórico é decorrente das pesquisas realizadas pela Fundação Instituto de Administração da USP (FIA-USP) há mais de 20 anos. Reduz-se o peso dado para Satisfação e Motivação como parâmetro principal da relação das pessoas com a empresa e incorpora-se o tema da Identidade, ou a identificação dos funcionários com os valores da empresa e a estratégia do negócio. Além disso, dois indicadores ganham mais peso: 1) Liderança e 2) Aprendizado e Desenvolvimento. Assim, a categoria Identidade tem um peso de 14,1% na nota final de percepção dos funcionários; a categoria Satisfação e Motivação, 46,9%; a categoria Liderança (que demonstra como os funcionários avaliam seus chefes segundo a habilidade para se comunicar, criar compromissos e promover aprendizado, bem como a demonstração de confiança, capacidade de atuar com justiça e de promover o desenvolvimento, além de ser coerente em seu discurso e suas atitudes), 23,4%; e a categoria Aprendizado e Desenvolvimento, 15,6%. Em relação às práticas de gestão de pessoas, a Pesquisa USP analisou seis fatores: remuneração e benefícios; carreira profissional; educação; responsabilidade social e ambiental; integridade física, psíquica e social; e saúde. Isso resulta no Índice de Qualidade na Gestão de Pessoas, que vai de zero a cem pontos.

Fonte: HSM Management Update. Nº 54 – Março 2008.

A tendência são as Pulse Surveys

O estudo Melhores Práticas de Clima e Engajamento, da consultoria Willis Towers Watson [1] afirma que 73%, das 261 empresas brasileiras entrevistadas, realizam pesquisas com empregados (dessas, 52% anualmente e 37% a cada dois anos).

No entanto, 63% já perceberam a necessidade de conduzir pesquisas menores e mais frequentes (as chamadas pulse surveys). Hoje, apenas 25% realizam esse tipo de pesquisa. Ouvir os funcionários com mais frequência permite que as empresas e os líderes estejam mais bem preparados para priorizar e tomar decisões com perspectiva do que irá impactar mais o engajamento.

Fonte: 1. Revista Melhor. Abril 2018. p. 26.

Veja também: Escalas binárias (duas opções são suficientes)

Um pequeno detalhe

ruptura

Um pequeno detalhes faz muita diferença nos resultados das pesquisas. O exemplo abaixo, de autoria de Andrew Grenville, traduzido do site da Maru/Matchbox, é bem didático.

Como uma pequena mudança em uma questão do recenseamento teve um enorme impacto sobre a população judaica

De acordo com a Statistics Canada, havia 351.705 pessoas que identificaram sua etnia como judeus no censo de 2006. No censo de 2016, eles relataram menos da metade desse número: 143.665. Existe um êxodo de proporções bíblicas? “É óbvio que metade da comunidade judaica no Canadá não desapareceu …”, disse Shimon Koffler Fogel, presidente-executivo do Centro para Israel e Assuntos Judaicos, em entrevista ao Globe and Mail. Houve, no entanto, uma pequena mudança em uma questão censitária que teve um enorme impacto.

Vamos aprender com isso. Tanto no censo de 2006 como em 2016, a questão era a mesma: “Quais foram as origens étnicas ou culturais dos antepassados ​​dessa pessoa?” O que mudou foi uma lista de exemplos de origens étnicas. De acordo com a Statistics Canada “… a lista de exemplos de origens étnicas foi atualizada em 2016 para refletir a frequência de respostas únicas relatadas na Pesquisa Nacional de Agregados Familiares de 2011. Para 2016, “iraniano” e “mexicano” foram adicionados à lista de exemplos, enquanto “judeus” e “salvadorenhos” foram removidos”. Ao remover o exemplo de “judeus”, o número de pessoas que o escreveram como sua etnia decresceu.

Mas esse foi apenas um dos fatores que tornaram a questão vulnerável a uma mudança radical nos resultados. O fato do cidadão ter sido solicitado a escrever sua etnia, em vez de selecionar de uma lista, significava que os exemplos tinham uma influência ainda mais poderosa sobre o que as pessoas escreveram. E, para piorar as coisas, a questão da etnia é vaga. Ser judaico é uma etnia, uma identidade religiosa ou ambos? Mesmo a Statistics Canada admite que “a etnia é um conceito difícil de medir, e não existe uma classificação reconhecida internacionalmente para esse conceito”. Todos esses fatores se uniram em uma tempestade perfeita e, aparentemente, a metade da população judaica do Canadá desapareceu em poucos anos.

Existem três lições que podemos aprender com essa gafe pública por uma agência estatística bem conhecida internacionalmente:

  1. As perguntas abertas são particularmente vulneráveis ​​à influência pelo contexto;
  2. Fornecer exemplos influenciará invariavelmente os resultados;
  3. Perguntas sobre construções vagas fornecem resultados menos concretos do que parecem.

O serviço de estatísticas do Canadá deve ser penalizado pela fragilidade da questão, mas certamente não está sozinho. O Censo dos EUA (U. S. Census Bureau) faz uma pergunta muito semelhante e igualmente vulnerável sobre ascendência e etnia, e fornece exemplos da mesma maneira. Pergunto-me que grupo étnico desaparecerá repentinamente dos Estados Unidos quando mudarem seus exemplos?

Acesse o texto original em: https://marumatchbox.com/blog/tiny-change-census-question-huge-impact-jewish-population/?utm_content=65570946&utm_medium=social&utm_source=facebook (Acesso em 2.2.18).