O “como” faz toda a diferença

Você tem dúvidas se a forma de perguntar afeta o resultado de uma pesquisa ou enquete? Veja isso:

O famoso chef de cozinha Gordon Sinclair conseguiu reduzir o número de reservas canceladas sem aviso de 30 para 10% por conta de uma mudança mínima no discurso da recepcionista que recebia as reservas. Transformou a recomendação “Por favor, avise se mudar de planos” em uma pergunta “O senhor nos avisará se mudar de planos, certo?”. A resposta “sim” cria um comprometimento que não havia anteriormente.

Absenteísmo médico

Médico engessando braço de trabalhador.

A “Pesquisa sobre a gestão de saúde corporativa”, realizada pela ABRH Brasil e pela Aliança para a Saúde Populacional (ASAP) em maio e junho de 2017 e respondida por 668 profissionais de recursos humanos, concluiu que:

  • 51% das empresas não têm programas estruturados para gerenciamento de grupos de risco como diabéticos, hipertensos etc., que costumam ser os usuários de maior custo para os planos de saúde.
  • Em 81% delas, os custos subiram acima da inflação dos 12 meses anteriores; em 55% delas, mais do que o dobro da inflação.
  • 40% não utilizam a coparticipação nas consultas e exames, pagando integralmente seu valor.
  • 54% não trabalham com indicadores.

Fonte: Revista Melhor. Julho 2017. p. 35.

Análise crítica

Foto de parque, com montanha russa em primeiro plano.

A notícia abaixo evidência um problema comum nos trabalhos de ranqueamento ou benchmarking. As pessoas que dão uma nota elevada ao Beto Carrero estão expressando seu nível sua satisfação com a experiência. Mas, a nota não tem valor comparativo pois, em sua maioria, os respondentes não conhecem outros parques, como os da Disney e da Universal. Nesses casos, a influência do “grau de exigência” dos avaliadores é que acaba definindo os resultados, distorcendo a comparação. Para ter validade, a pesquisa deveria ser feita apenas com pessoas que visitaram os parques que se deseja comparar.

Beto Carrero é escolhido um dos dez melhores do mundo

Marcela Munhoz

Apesar do fechamento do Playcenter e das notícias sobre a situação do Hopi Hari, o País ainda tem um parque que vem chamando a atenção. É o Beto Carrero World, localizado no litoral Norte de Santa Catarina. Em 2016, apresentou crescimento de 24% em faturamento e 2 milhões de visitantes. O considerado maior parque da América Latina figura lista dos dez melhores do planeta. A escolha foi feita em concurso mundial promovido pela Tripadvisor.

O Beto Carrero ocupa a sétima colocação em ranking que inclui a Universal’s Islands of Adventure, o Discovery Cove e o Magic Kingdom, em Orlando (Estados Unidos); Europa-Park em Baden-Wurttemberg (Alemanha), a Universal Studios Hollywood, em Los Angeles (Estados Unidos) e o Le Puy du Fou, em Les Epesses (França). O parque brasileiro deixou para traz a Universal Studios, o Epcot e o Animal Kingdom, em Orlando.

Fonte: https://www.dgabc.com.br/Mobile/Noticia/2713631/beto-carrero-e-escolhido-um-dos-dez-melhores-do-mundo 29/06/2017 às 07:00. Acesso em 13.06.18.

The Insights Revolution: Questioning everything – Comentários sobre o livro

Capa do livro "The Insights Revolution: Questioning everything".

O autor, Andrew Grenville, da Maru/Matchbox – empresa de pesquisas de mercado baseada em Toronto, Canadá – é um profissional experiente. No livro, recém-lançado, ele enfatiza que a indústria de pesquisas, como conhecemos, está condenada. Mas, aponta direções e talvez a mais importante seja deixar de responder perguntas para se aprofundar nas questões que podem beneficiar o negócio oferecendo insights. Ele afirma que, para isso, os profissionais do segmento terão de mudar, tornando-se mais generalistas.

Entre os questionamentos que faz, destaco dois:

  • Muitas pesquisas são feitas com amostras não representativas ou pouco confiáveis.
  • Quando perguntamos às pessoas o que é importante, obtemos respostas socialmente aceitáveis. O que não se consegue é que respondam o que realmente fazem e como realmente decidem. Recebemos informações enganosas porque as pessoas estão sempre prontas para dar respostas plausíveis às perguntas – mesmo que não saibam a resposta.

E aponta direções, como:

  • Uma forma de simplificar as pesquisas é ter clareza sobre o quê se deseja saber. Parece óbvio, mas frequentemente não acontece.
  • Usar escalas mais simples, como a binária, ao invés de escalas com muitas opções.

O conteúdo é enriquecido com muitas entrevistas de especialistas de grandes e conhecidas empresas, com bons argumentos,  resultantes da vasta experiência profissional do autor.

Dica: Insight – um claro, profundo e algumas vezes repentino entendimento de um problema ou situação complicada. The Cambridge Dictionary.

O livro

Grenville, Andrew. The Insights Revolution: Questioning everything. Maru/Matchbox. Disponível em https://www.theinsightsrevolution.com.

Erros em pesquisas eleitorais

Urna eletrônica

Ultimamente os resultados das pesquisas eleitorais feitas por institutos de renome têm sido questionados, prejudicando a credibilidade desse tipo de trabalho.

A associação das empresas de pesquisa deveria desenvolver um sistema para calcular e comunicar a “margem de erro histórica” – isto é, a precisão das pesquisas em comparação com os resultados eleitorais reais, que capturariam erros do mundo real em vez de erros estatísticos meramente teóricos.

Fonte: The report “A Review of the Public Opinion Polling Conducted During the 2017 Calgary Election”, prepared for the Marketing Research and Intelligence Association by Christopher Adams, Paul Adams and David Zussman.

Pesquisas – Melhores empresas para trabalhar

Exame - Melhores empresas

Como são as duas pesquisas de “melhores empresas para trabalhar” no Brasil?

No que diz respeito à coleta de dados, as metodologias das duas pesquisas são semelhantes. Mas que tipo de empresa é a “melhor para trabalhar”, segundo essas pesquisas?

A Pesquisa GPTW/Época parte de um modelo em que um bom ambiente de trabalho é descrito como um lugar no qual você confia nas pessoas para quem trabalha, tem orgulho do que faz e gosta dos colegas. De acordo com esse modelo, o funcionário de qualquer organização desenvolve três relações básicas no ambiente de trabalho: a primeira com a direção da companhia em todos os níveis (Confiança, subdividida nas categorias Credibilidade, Respeito e Imparcialidade), a segunda com a própria tarefa, o trabalho da equipe e a contribuição da empresa para a comunidade (Orgulho), e a terceira com os colegas (Camaradagem). Cada uma dessas cinco categorias (Credibilidade, Respeito, Imparcialidade, Orgulho e Camaradagem) tem peso semelhante no questionário, respondendo por aproximadamente 20% cada uma.

E na Pesquisa USP/Exame?

Na Pesquisa USP/Exame, realizada pela primeira vez em 2006, o modelo teórico é decorrente das pesquisas realizadas pela Fundação Instituto de Administração da USP (FIA-USP) há mais de 20 anos. Reduz-se o peso dado para Satisfação e Motivação como parâmetro principal da relação das pessoas com a empresa e incorpora-se o tema da Identidade, ou a identificação dos funcionários com os valores da empresa e a estratégia do negócio. Além disso, dois indicadores ganham mais peso: 1) Liderança e 2) Aprendizado e Desenvolvimento. Assim, a categoria Identidade tem um peso de 14,1% na nota final de percepção dos funcionários; a categoria Satisfação e Motivação, 46,9%; a categoria Liderança (que demonstra como os funcionários avaliam seus chefes segundo a habilidade para se comunicar, criar compromissos e promover aprendizado, bem como a demonstração de confiança, capacidade de atuar com justiça e de promover o desenvolvimento, além de ser coerente em seu discurso e suas atitudes), 23,4%; e a categoria Aprendizado e Desenvolvimento, 15,6%. Em relação às práticas de gestão de pessoas, a Pesquisa USP analisou seis fatores: remuneração e benefícios; carreira profissional; educação; responsabilidade social e ambiental; integridade física, psíquica e social; e saúde. Isso resulta no Índice de Qualidade na Gestão de Pessoas, que vai de zero a cem pontos.

Fonte: HSM Management Update. Nº 54 – Março 2008.

A tendência são as Pulse Surveys

O estudo Melhores Práticas de Clima e Engajamento, da consultoria Willis Towers Watson [1] afirma que 73%, das 261 empresas brasileiras entrevistadas, realizam pesquisas com empregados (dessas, 52% anualmente e 37% a cada dois anos).

No entanto, 63% já perceberam a necessidade de conduzir pesquisas menores e mais frequentes (as chamadas pulse surveys). Hoje, apenas 25% realizam esse tipo de pesquisa. Ouvir os funcionários com mais frequência permite que as empresas e os líderes estejam mais bem preparados para priorizar e tomar decisões com perspectiva do que irá impactar mais o engajamento.

Fonte: 1. Revista Melhor. Abril 2018. p. 26.

Veja também: Escalas binárias (duas opções são suficientes)

Um pequeno detalhe

ruptura

Um pequeno detalhes faz muita diferença nos resultados das pesquisas. O exemplo abaixo, de autoria de Andrew Grenville, traduzido do site da Maru/Matchbox, é bem didático.

Como uma pequena mudança em uma questão do recenseamento teve um enorme impacto sobre a população judaica

De acordo com a Statistics Canada, havia 351.705 pessoas que identificaram sua etnia como judeus no censo de 2006. No censo de 2016, eles relataram menos da metade desse número: 143.665. Existe um êxodo de proporções bíblicas? “É óbvio que metade da comunidade judaica no Canadá não desapareceu …”, disse Shimon Koffler Fogel, presidente-executivo do Centro para Israel e Assuntos Judaicos, em entrevista ao Globe and Mail. Houve, no entanto, uma pequena mudança em uma questão censitária que teve um enorme impacto.

Vamos aprender com isso. Tanto no censo de 2006 como em 2016, a questão era a mesma: “Quais foram as origens étnicas ou culturais dos antepassados ​​dessa pessoa?” O que mudou foi uma lista de exemplos de origens étnicas. De acordo com a Statistics Canada “… a lista de exemplos de origens étnicas foi atualizada em 2016 para refletir a frequência de respostas únicas relatadas na Pesquisa Nacional de Agregados Familiares de 2011. Para 2016, “iraniano” e “mexicano” foram adicionados à lista de exemplos, enquanto “judeus” e “salvadorenhos” foram removidos”. Ao remover o exemplo de “judeus”, o número de pessoas que o escreveram como sua etnia decresceu.

Mas esse foi apenas um dos fatores que tornaram a questão vulnerável a uma mudança radical nos resultados. O fato do cidadão ter sido solicitado a escrever sua etnia, em vez de selecionar de uma lista, significava que os exemplos tinham uma influência ainda mais poderosa sobre o que as pessoas escreveram. E, para piorar as coisas, a questão da etnia é vaga. Ser judaico é uma etnia, uma identidade religiosa ou ambos? Mesmo a Statistics Canada admite que “a etnia é um conceito difícil de medir, e não existe uma classificação reconhecida internacionalmente para esse conceito”. Todos esses fatores se uniram em uma tempestade perfeita e, aparentemente, a metade da população judaica do Canadá desapareceu em poucos anos.

Existem três lições que podemos aprender com essa gafe pública por uma agência estatística bem conhecida internacionalmente:

  1. As perguntas abertas são particularmente vulneráveis ​​à influência pelo contexto;
  2. Fornecer exemplos influenciará invariavelmente os resultados;
  3. Perguntas sobre construções vagas fornecem resultados menos concretos do que parecem.

O serviço de estatísticas do Canadá deve ser penalizado pela fragilidade da questão, mas certamente não está sozinho. O Censo dos EUA (U. S. Census Bureau) faz uma pergunta muito semelhante e igualmente vulnerável sobre ascendência e etnia, e fornece exemplos da mesma maneira. Pergunto-me que grupo étnico desaparecerá repentinamente dos Estados Unidos quando mudarem seus exemplos?

Acesse o texto original em: https://marumatchbox.com/blog/tiny-change-census-question-huge-impact-jewish-population/?utm_content=65570946&utm_medium=social&utm_source=facebook (Acesso em 2.2.18).

Pequenos detalhes fazem muita diferença

Survey

Uma pesquisa feita nos Estados Unidos [1] apresentou os resultados de dois grupos à uma mesma questão em que se mudou apenas a ordem dos fatores.

Grupo 1: 

Pergunta: Qual é o maior culpado pela poluição: o trânsito ou a indústria?

Pessoas que responderam “trânsito”: 45%

Grupo 2: 

Pergunta: Qual é o maior culpado pela poluição: a indústria ou o trânsito?

Pessoas que responderam “trânsito”: 24%

Conclusão:

Muito cuidado ao planejar uma pesquisa. É muito fácil, por erro ou má-fé, obter resultados inadequados ou “mais convenientes”. Isso pode ocorrer tanto em levantamentos de opinião sobre produtos quanto em pesquisas de clima nas empresas. Tanto nos levantamentos de popularidade de pessoas públicas como nas pesquisas eleitorais.

Nesses tempos de “fake news”, a credibilidade da instituição de pesquisa é tão importante quanto os números apresentados, para que se possa tirar alguma conclusão. Também nas empresas deve haver cuidado com esse aspecto, para determinar os resultados que efetivamente vão ajudar na tomada correta das decisões.

Referência: [1] – GPTW Inspirar, página 16, citando “Indiana University – It’s how you frame it: Transformational leadership and the meaning of work. Dean J. Cleavenger and Timothy P. Munyon. 2013”.

Uma abordagem inovadora para as pesquisas

Na prática, são duas as opções

Na prática, são duas as opções

As primeiras pesquisas de opinião ou de satisfação eram objetivas e perguntavam se as pessoas queriam ou não um serviço, se gostavam ou não de um produto. Ao longo do tempo, as consultas foram se tornando mais complexas.

Hoje, tanto nas pesquisas junto aos colaboradores quanto nas de produtos e serviços, é usual adotar questões com múltiplas respostas, na tentativa de colher também o nível de satisfação ou de desagrado. Com esse propósito, é comum o uso da Escala de Likert, que normalmente oferece cinco possibilidades de resposta:

  1. Muito insatisfeito
  2. Insatisfeito
  3. Indiferente
  4. Satisfeito
  5. Muito satisfeito

É interessante observar que, apesar da quantidade de opções, na análise dos resultados é comum que as respostas 1 e 2 acabem somadas, assim como as respostas 4 e 5, resultando em apenas três grupos: Insatisfeitos, Indiferentes e Satisfeitos, evidenciando uma complexidade que acaba por trazer pouco benefício.

Agora, a Maru/Matchbox traz uma inovação simplificadora, ao sugerir que os questionários das pesquisas passem a oferecer apenas duas alternativas de respostas: Sim ou Não. Depois de muitas análises, a equipe técnica da Maru concluiu que a qualidade final dos resultados é tão boa quanto a dos questionários tradicionais e oferece as seguintes vantagens:

  • menor tempo de preenchimento (cerca de 50% do usual), o que resulta em maior percentual de respostas.
  • formulários mais simples e, portanto, mais adequados aos dispositivos móveis.

Que tal experimentar?

Referência: Maru/matchbox. Idea Filter: Evidence of a sensitive and easy to answer approach to idea and concept testing. Disponível em: http://resources.marumatchbox.com/hubfs/Idea_Filter_Evidence_of_a_sensitive_and_easy_to_answer_approach_to_idea_and_concept_testing.pdf?hsCtaTracking=caaf86a4-f07e-4bed-bbfe-2cf3a84d7004%7C7448a8dd-742b-4143-b634-26fe53d6639f&__hstc=58240629.adc8f3cf68c3a93276f9f6a86754fc53.1488835169103.1488835169103.1488835169103.1&__hssc=58240629.2.1488835169103&__hsfp=4279763413 Acesso em 6.03.17.