Arquivo da tag: pesquisas

Ordem das questões em uma pesquisa

Publicado em por
Responder
Imagem por Artjane em Pixabay.

As cédulas eleitorais em papel têm, necessariamente, que listar os candidatos em alguma ordem. É sabido que os candidatos se beneficiam de serem listados primeiro. Um estudo descobriu que um candidato cujo nome é listado primeiro ganha cerca de 3,5 pontos percentuais na votação [1].

O efeito é menor quando os candidatos são bem conhecidos, como nas eleições presidenciais, mas quando os candidatos têm pouco reconhecimento de nome ou pouca cobertura da mídia (como na maioria das eleições locais), o efeito pode ser ainda maior.

O  mesmo acontece nas pesquisas de satisfação realizadas junto aos clientes e aos colaboradores. Então, é preciso ter muito cuidado para evitar distorções. Se a ordem das questões no questionário da pesquisa pode alterar a conclusão que interessa ao cliente, ou aos usuários dos resultados, temos as seguintes alternativas:

A. Fazer a pesquisa com vários questionários, em que a ordem das perguntas é alterada. Em sistemas informatizados isso é fácil.

B. Tomar o cuidado de só analisar variações em relação a levantamentos anteriores, em que a ordem das questões era a mesma.

Referência:

1. Koppell, Jonathan G. S., and Jennifer A. Steen. The Effects of Ballot Position on Election Outcomes. Journal of Politics 66 (2004): 267-81. Citado em Thaler, Richard H. e Sunstein, Cass R. Nudge: Improving Decisions About Health, Wealth, and Happiness. Penguin Books. USA. 2009. p. 249.

Má avaliação

Publicado em por
Responder
Imagem: Gerd Altmann from Pixabay 

Um exemplo de medição de desempenho mal feita é aquela usada para avaliar a satisfação no atendimento telefônico de muitas organizações. No final, quando questionados para dar uma nota, não sabemos se estamos avaliando o atendimento (solução para o problema que gerou o contato) ou para a simpatia, educação e esforço da atendente em solucionar o problema.

Óbvio que algumas pessoas interpretarão de um modo e outras do outro; em consequência, o resultado da pesquisa é absolutamente inútil para a gestão.

Isso ocorre em tua organização?

Dá para confiar nas avaliações dos internautas?

Publicado em por
Responder

Pedro Dória*

Reproduzo adiante um excelente texto do ótimo Pedro Dória, jornalista e escritor, que chama a atenção para a forma tendenciosa de algumas pesquisas, com reflexos nas nossas decisões de compra. Boa leitura!

Os números são uma desgraça: nos EUA, a nota média dos vídeos do YouTube é 4,6. Em um máximo de 5. Segundo o serviço Bazaarvoice, que fornece sistemas para 600 sites de comércio eletrônico, a nota média para os produtos vendidos é 4,3. Na Amazon, maior loja da web, idem. Há duas possibilidades. Ou a qualidade dos produtos vendidos na web é tão estupenda quanto a dos vídeos distribuídos pelo YouTube ou, o que é bem mais provável, as pessoas são generosas demais na avaliação que fazem quando estão em rede.

O mérito da descoberta é de uma equipe de pesquisadores da Universidade de Toronto e quem pinçou o obscuro relatório foram Geoffrey Fowler e Joseph de Ávila, repórteres do Wall Street Journal.

Algumas razões explicam o fenômeno. O que faz alguém, por exemplo, sugerir que determinada marca produz o melhor papel de impressão? Ou a melhor ração de cachorro? Intuitivamente, nós todos compreendemos o que se passa. A culpa é daqueles que dizem entender do assunto. Quem compra equipamento e gosta de achar que sabe fazer recomendações não vai dizer que escolhe algo ruim.

O voto não é no produto. É um voto em si mesmo. “Eu entendo de impressão de fotos e o papel que compro só pode ser o melhor que há.”

Vale para lâmina de barbear ou player de DVD. 0 problema, evidentemente, é que o fenômeno põe em xeque a credibilidade dos sistemas de recomendação em sites de comércio. É possível confiar em resenhas de filmes, de livros. mas são poucos os produtos assim. O melhor CD gravável, quem realmente pode dizer qual o melhor?

Discretamente, a eBay, maior empresa de leilões virtuais, está avaliando vendedores não mais pela nota e sim pelo número de notas 1 e 2 que recebem. Elas são indicadores reais da qualidade. Muitos votos negativos dão mostras de que o sujeito não anda entregando o que deve. Os números são uma desgraça mas ninguém os percebe. Nos EUA, segundo a Nielsen, 72% afirmam confiar em resenhas online.

Enquanto isso, a amostra vicia. A ração de cachorro que recebe mais votos positivos é a que mais vende e, por consequência, é a que receberá ainda mais cinco estrelas a caminho da liderança eterna.

Ração canina e papel de impressora, diga-se, não estão aqui por mero acaso. São os dois produtos mais resenhados na internet americana. Sabe-se lá por quê.

* – Pedro Doria é jornalista. Seus livros tratam de história. “Tenentes, A Guerra Civil Brasileira”, narra como se fosse um thriller os acontecimentos que levaram ao fim da República Velha, na década de 1920, e mostra o surgimento da geração de militares que tomou o poder em 1964. 1565 conta a invenção do sudeste brasileiro e, 1789, a verdadeira história da Inconfidência. Pedro também escreve sobre o impacto da tecnologia, no Globo e no Estado de S. Paulo, além de comentar sobre o tema na CBN. pedro.doria@grupoestado.com.br

Este texto é uma reprodução do jornal Estado de São Paulo. 26.10.09. p. L6, autorizada pelo autor.

Pode-se confiar nas pesquisas de satisfação?

Publicado em por
Responder

Nas pesquisas de satisfação, independentemente de quão claras as instruções possam ser, as pessoas irão interpretá-las ou despreza-las acidentalmente. Os cientistas categorizam isso como erros de resposta. Em média, 6% a 20% de todas as pesquisas concluídas pelos clientes contêm erros de resposta. É um fato inevitável da realização de um programa de pesquisa válido.

Além disso, aumentar o tamanho da amostra não elimina o problema, mas traz erros ainda maiores. Portanto, você deve corrigir esses erros usando uma abordagem sistemática e consistente para fornecer a máxima integridade, precisão e imparcialidade para criar relatórios a partir de pesquisas.

Reproduzido de: Rembach, Jim. Survey Calibration Improves Employee Buy-in. Disponível em  http://metrics.net/what-is-survey-calibration/. Acesso em out. 2012.

Amostragem com viés

Publicado em por
Responder

Em 1936, a Literary Digest realizou uma pesquisa eleitoral para a presidência dos Estados Unidos que recebeu mais de 2 milhões de respostas, prevendo que Alfred Landon prevaleceria sobre Franklin Roosevelt por uma margem de dois dígitos. Na verdade, Roosevelt venceu de lavada.

A Literary Digest errou ao conduzir sua pesquisa por telefone, que na época era desproporcionalmente usada pelos ricos. Nesse sentido, a enorme amostra ainda era muito pequena. Analogamente, hoje, petabytes de dados de mídias sociais não são garantia para refletir com precisão os sentimentos da população de interesse.

O “como” faz toda a diferença

Publicado em por
Responder

Você tem dúvidas se a forma de perguntar afeta o resultado de uma pesquisa ou enquete? Veja isso:

O famoso chef de cozinha Gordon Sinclair conseguiu reduzir o número de reservas canceladas sem aviso de 30 para 10% por conta de uma mudança mínima no discurso da recepcionista que recebia as reservas. Transformou a recomendação “Por favor, avise se mudar de planos” em uma pergunta “O senhor nos avisará se mudar de planos, certo?”. A resposta “sim” cria um comprometimento que não havia anteriormente.

Absenteísmo médico

Publicado em por
Responder

Médico engessando braço de trabalhador.

A “Pesquisa sobre a gestão de saúde corporativa”, realizada pela ABRH Brasil e pela Aliança para a Saúde Populacional (ASAP) em maio e junho de 2017 e respondida por 668 profissionais de recursos humanos, concluiu que:

  • 51% das empresas não têm programas estruturados para gerenciamento de grupos de risco como diabéticos, hipertensos etc., que costumam ser os usuários de maior custo para os planos de saúde.
  • Em 81% delas, os custos subiram acima da inflação dos 12 meses anteriores; em 55% delas, mais do que o dobro da inflação.
  • 40% não utilizam a coparticipação nas consultas e exames, pagando integralmente seu valor.
  • 54% não trabalham com indicadores.

Fonte: Revista Melhor. Julho 2017. p. 35.

Análise crítica – uma pegadinha

Publicado em por
Responder
Imagem promocional do parque Beto Carrero World.

A notícia abaixo evidência um problema comum nos trabalhos de ranqueamento ou benchmarking. As pessoas que deram uma nota elevada ao Beto Carrero estão expressando seu nível sua satisfação com a experiência. Mas a nota não tem valor comparativo pois, em sua maioria, os respondentes não conhecem outros parques, como os da Disney e da Universal. Nesses casos, a influência do “grau de exigência” dos avaliadores é que acaba definindo os resultados, distorcendo a comparação. Para ter validade, a pesquisa deveria ser feita apenas com pessoas que visitaram os parques que se deseja comparar.

Beto Carrero é escolhido um dos dez melhores do mundo
Marcela Munhoz
Apesar do fechamento do Playcenter e das notícias sobre a situação do Hopi Hari, o País ainda tem um parque que vem chamando a atenção. É o Beto Carrero World, localizado no litoral Norte de Santa Catarina. Em 2016, apresentou crescimento de 24% em faturamento e 2 milhões de visitantes. O considerado maior parque da América Latina figura lista dos dez melhores do planeta. A escolha foi feita em concurso mundial promovido pela Tripadvisor.
O Beto Carrero ocupa a sétima colocação em ranking que inclui a Universal’s Islands of Adventure, o Discovery Cove e o Magic Kingdom, em Orlando (Estados Unidos); Europa-Park em Baden-Wurttemberg (Alemanha), a Universal Studios Hollywood, em Los Angeles (Estados Unidos) e o Le Puy du Fou, em Les Epesses (França). O parque brasileiro deixou para traz a Universal Studios, o Epcot e o Animal Kingdom, em Orlando.
Fonte: https://www.dgabc.com.br/Mobile/Noticia/2713631/beto-carrero-e-escolhido-um-dos-dez-melhores-do-mundo em 29/06/2017. Acesso em 13.06.18.
Post de jan/19, atualizado em jul/22

The Insights Revolution: Questioning everything – Comentários sobre o livro

Publicado em por
Responder

Capa do livro "The Insights Revolution: Questioning everything".

O autor, Andrew Grenville, da Maru/Matchbox – empresa de pesquisas de mercado baseada em Toronto, Canadá – é um profissional experiente. No livro, recém-lançado, ele enfatiza que a indústria de pesquisas, como conhecemos, está condenada. Mas, aponta direções e talvez a mais importante seja deixar de responder perguntas para se aprofundar nas questões que podem beneficiar o negócio oferecendo insights. Ele afirma que, para isso, os profissionais do segmento terão de mudar, tornando-se mais generalistas.

Entre os questionamentos que faz, destaco dois:

  • Muitas pesquisas são feitas com amostras não representativas ou pouco confiáveis.
  • Quando perguntamos às pessoas o que é importante, obtemos respostas socialmente aceitáveis. O que não se consegue é que respondam o que realmente fazem e como realmente decidem. Recebemos informações enganosas porque as pessoas estão sempre prontas para dar respostas plausíveis às perguntas – mesmo que não saibam a resposta.

E aponta direções, como:

  • Uma forma de simplificar as pesquisas é ter clareza sobre o quê se deseja saber. Parece óbvio, mas frequentemente não acontece.
  • Usar escalas mais simples, como a binária, ao invés de escalas com muitas opções.

O conteúdo é enriquecido com muitas entrevistas de especialistas de grandes e conhecidas empresas, com bons argumentos,  resultantes da vasta experiência profissional do autor.

Dica: Insight Рum claro, profundo e algumas vezes repentino entendimento de um problema ou situa̤̣o complicada. The Cambridge Dictionary.

O livro

Grenville, Andrew. The Insights Revolution: Questioning everything. Maru/Matchbox. Disponível em https://www.theinsightsrevolution.com.

Erros em pesquisas eleitorais

Publicado em por
Responder

Urna eletrônica

Ultimamente os resultados das pesquisas eleitorais feitas por institutos de renome têm sido questionados, prejudicando a credibilidade desse tipo de trabalho.

A associação das empresas de pesquisa deveria desenvolver um sistema para calcular e comunicar a “margem de erro histórica” – isto é, a precisão das pesquisas em comparação com os resultados eleitorais reais, que capturariam erros do mundo real em vez de erros estatísticos meramente teóricos.

Fonte: The report “A Review of the Public Opinion Polling Conducted During the 2017 Calgary Election”, prepared for the Marketing Research and Intelligence Association by Christopher Adams, Paul Adams and David Zussman.