Dá para confiar nas avaliações dos internautas?

Pedro Dória*

Reproduzo adiante um excelente texto do ótimo Pedro Dória, jornalista e escritor, que chama a atenção para a forma tendenciosa de algumas pesquisas, com reflexos nas nossas decisões de compra. Boa leitura!

Os números são uma desgraça: nos EUA, a nota média dos vídeos do YouTube é 4,6. Em um máximo de 5. Segundo o serviço Bazaarvoice, que fornece sistemas para 600 sites de comércio eletrônico, a nota média para os produtos vendidos é 4,3. Na Amazon, maior loja da web, idem. Há duas possibilidades. Ou a qualidade dos produtos vendidos na web é tão estupenda quanto a dos vídeos distribuídos pelo YouTube ou, o que é bem mais provável, as pessoas são generosas demais na avaliação que fazem quando estão em rede.

O mérito da descoberta é de uma equipe de pesquisadores da Universidade de Toronto e quem pinçou o obscuro relatório foram Geoffrey Fowler e Joseph de Ávila, repórteres do Wall Street Journal.

Algumas razões explicam o fenômeno. O que faz alguém, por exemplo, sugerir que determinada marca produz o melhor papel de impressão? Ou a melhor ração de cachorro? Intuitivamente, nós todos compreendemos o que se passa. A culpa é daqueles que dizem entender do assunto. Quem compra equipamento e gosta de achar que sabe fazer recomendações não vai dizer que escolhe algo ruim.

O voto não é no produto. É um voto em si mesmo. “Eu entendo de impressão de fotos e o papel que compro só pode ser o melhor que há.”

Vale para lâmina de barbear ou player de DVD. 0 problema, evidentemente, é que o fenômeno põe em xeque a credibilidade dos sistemas de recomendação em sites de comércio. É possível confiar em resenhas de filmes, de livros. mas são poucos os produtos assim. O melhor CD gravável, quem realmente pode dizer qual o melhor?

Discretamente, a eBay, maior empresa de leilões virtuais, está avaliando vendedores não mais pela nota e sim pelo número de notas 1 e 2 que recebem. Elas são indicadores reais da qualidade. Muitos votos negativos dão mostras de que o sujeito não anda entregando o que deve. Os números são uma desgraça mas ninguém os percebe. Nos EUA, segundo a Nielsen, 72% afirmam confiar em resenhas online.

Enquanto isso, a amostra vicia. A ração de cachorro que recebe mais votos positivos é a que mais vende e, por consequência, é a que receberá ainda mais cinco estrelas a caminho da liderança eterna.

Ração canina e papel de impressora, diga-se, não estão aqui por mero acaso. São os dois produtos mais resenhados na internet americana. Sabe-se lá por quê.

* – Pedro Doria é jornalista. Seus livros tratam de história. “Tenentes, A Guerra Civil Brasileira”, narra como se fosse um thriller os acontecimentos que levaram ao fim da República Velha, na década de 1920, e mostra o surgimento da geração de militares que tomou o poder em 1964. 1565 conta a invenção do sudeste brasileiro e, 1789, a verdadeira história da Inconfidência. Pedro também escreve sobre o impacto da tecnologia, no Globo e no Estado de S. Paulo, além de comentar sobre o tema na CBN. pedro.doria@grupoestado.com.br

Este texto é uma reprodução do jornal Estado de São Paulo. 26.10.09. p. L6, autorizada pelo autor.

Pode-se confiar nas pesquisas de satisfação?

Nas pesquisas de satisfação, independentemente de quão claras as instruções possam ser, as pessoas irão interpretá-las ou despreza-las acidentalmente. Os cientistas categorizam isso como erros de resposta. Em média, 6% a 20% de todas as pesquisas concluídas pelos clientes contêm erros de resposta. É um fato inevitável da realização de um programa de pesquisa válido.

Além disso, aumentar o tamanho da amostra não elimina o problema, mas traz erros ainda maiores. Portanto, você deve corrigir esses erros usando uma abordagem sistemática e consistente para fornecer a máxima integridade, precisão e imparcialidade para criar relatórios a partir de pesquisas.

Reproduzido de: Rembach, Jim. Survey Calibration Improves Employee Buy-in. Disponível em  http://metrics.net/what-is-survey-calibration/. Acesso em out. 2012.

Amostragem com viés

Em 1936, a Literary Digest realizou uma pesquisa eleitoral para a presidência dos Estados Unidos que recebeu mais de 2 milhões de respostas, prevendo que Alfred Landon prevaleceria sobre Franklin Roosevelt por uma margem de dois dígitos. Na verdade, Roosevelt venceu de lavada.

A Literary Digest errou ao conduzir sua pesquisa por telefone, que na época era desproporcionalmente usada pelos ricos. Nesse sentido, a enorme amostra ainda era muito pequena. Analogamente, hoje, petabytes de dados de mídias sociais não são garantia para refletir com precisão os sentimentos da população de interesse.

O “como” faz toda a diferença

Você tem dúvidas se a forma de perguntar afeta o resultado de uma pesquisa ou enquete? Veja isso:

O famoso chef de cozinha Gordon Sinclair conseguiu reduzir o número de reservas canceladas sem aviso de 30 para 10% por conta de uma mudança mínima no discurso da recepcionista que recebia as reservas. Transformou a recomendação “Por favor, avise se mudar de planos” em uma pergunta “O senhor nos avisará se mudar de planos, certo?”. A resposta “sim” cria um comprometimento que não havia anteriormente.

Absenteísmo médico

Médico engessando braço de trabalhador.

A “Pesquisa sobre a gestão de saúde corporativa”, realizada pela ABRH Brasil e pela Aliança para a Saúde Populacional (ASAP) em maio e junho de 2017 e respondida por 668 profissionais de recursos humanos, concluiu que:

  • 51% das empresas não têm programas estruturados para gerenciamento de grupos de risco como diabéticos, hipertensos etc., que costumam ser os usuários de maior custo para os planos de saúde.
  • Em 81% delas, os custos subiram acima da inflação dos 12 meses anteriores; em 55% delas, mais do que o dobro da inflação.
  • 40% não utilizam a coparticipação nas consultas e exames, pagando integralmente seu valor.
  • 54% não trabalham com indicadores.

Fonte: Revista Melhor. Julho 2017. p. 35.

Análise crítica

Foto de parque, com montanha russa em primeiro plano.

A notícia abaixo evidência um problema comum nos trabalhos de ranqueamento ou benchmarking. As pessoas que dão uma nota elevada ao Beto Carrero estão expressando seu nível sua satisfação com a experiência. Mas, a nota não tem valor comparativo pois, em sua maioria, os respondentes não conhecem outros parques, como os da Disney e da Universal. Nesses casos, a influência do “grau de exigência” dos avaliadores é que acaba definindo os resultados, distorcendo a comparação. Para ter validade, a pesquisa deveria ser feita apenas com pessoas que visitaram os parques que se deseja comparar.

Beto Carrero é escolhido um dos dez melhores do mundo

Marcela Munhoz

Apesar do fechamento do Playcenter e das notícias sobre a situação do Hopi Hari, o País ainda tem um parque que vem chamando a atenção. É o Beto Carrero World, localizado no litoral Norte de Santa Catarina. Em 2016, apresentou crescimento de 24% em faturamento e 2 milhões de visitantes. O considerado maior parque da América Latina figura lista dos dez melhores do planeta. A escolha foi feita em concurso mundial promovido pela Tripadvisor.

O Beto Carrero ocupa a sétima colocação em ranking que inclui a Universal’s Islands of Adventure, o Discovery Cove e o Magic Kingdom, em Orlando (Estados Unidos); Europa-Park em Baden-Wurttemberg (Alemanha), a Universal Studios Hollywood, em Los Angeles (Estados Unidos) e o Le Puy du Fou, em Les Epesses (França). O parque brasileiro deixou para traz a Universal Studios, o Epcot e o Animal Kingdom, em Orlando.

Fonte: https://www.dgabc.com.br/Mobile/Noticia/2713631/beto-carrero-e-escolhido-um-dos-dez-melhores-do-mundo 29/06/2017 às 07:00. Acesso em 13.06.18.

The Insights Revolution: Questioning everything – Comentários sobre o livro

Capa do livro "The Insights Revolution: Questioning everything".

O autor, Andrew Grenville, da Maru/Matchbox – empresa de pesquisas de mercado baseada em Toronto, Canadá – é um profissional experiente. No livro, recém-lançado, ele enfatiza que a indústria de pesquisas, como conhecemos, está condenada. Mas, aponta direções e talvez a mais importante seja deixar de responder perguntas para se aprofundar nas questões que podem beneficiar o negócio oferecendo insights. Ele afirma que, para isso, os profissionais do segmento terão de mudar, tornando-se mais generalistas.

Entre os questionamentos que faz, destaco dois:

  • Muitas pesquisas são feitas com amostras não representativas ou pouco confiáveis.
  • Quando perguntamos às pessoas o que é importante, obtemos respostas socialmente aceitáveis. O que não se consegue é que respondam o que realmente fazem e como realmente decidem. Recebemos informações enganosas porque as pessoas estão sempre prontas para dar respostas plausíveis às perguntas – mesmo que não saibam a resposta.

E aponta direções, como:

  • Uma forma de simplificar as pesquisas é ter clareza sobre o quê se deseja saber. Parece óbvio, mas frequentemente não acontece.
  • Usar escalas mais simples, como a binária, ao invés de escalas com muitas opções.

O conteúdo é enriquecido com muitas entrevistas de especialistas de grandes e conhecidas empresas, com bons argumentos,  resultantes da vasta experiência profissional do autor.

Dica: Insight – um claro, profundo e algumas vezes repentino entendimento de um problema ou situação complicada. The Cambridge Dictionary.

O livro

Grenville, Andrew. The Insights Revolution: Questioning everything. Maru/Matchbox. Disponível em https://www.theinsightsrevolution.com.

Erros em pesquisas eleitorais

Urna eletrônica

Ultimamente os resultados das pesquisas eleitorais feitas por institutos de renome têm sido questionados, prejudicando a credibilidade desse tipo de trabalho.

A associação das empresas de pesquisa deveria desenvolver um sistema para calcular e comunicar a “margem de erro histórica” – isto é, a precisão das pesquisas em comparação com os resultados eleitorais reais, que capturariam erros do mundo real em vez de erros estatísticos meramente teóricos.

Fonte: The report “A Review of the Public Opinion Polling Conducted During the 2017 Calgary Election”, prepared for the Marketing Research and Intelligence Association by Christopher Adams, Paul Adams and David Zussman.

Pesquisas – Melhores empresas para trabalhar

Exame - Melhores empresas

Como são as duas pesquisas de “melhores empresas para trabalhar” no Brasil?

No que diz respeito à coleta de dados, as metodologias das duas pesquisas são semelhantes. Mas que tipo de empresa é a “melhor para trabalhar”, segundo essas pesquisas?

A Pesquisa GPTW/Época parte de um modelo em que um bom ambiente de trabalho é descrito como um lugar no qual você confia nas pessoas para quem trabalha, tem orgulho do que faz e gosta dos colegas. De acordo com esse modelo, o funcionário de qualquer organização desenvolve três relações básicas no ambiente de trabalho: a primeira com a direção da companhia em todos os níveis (Confiança, subdividida nas categorias Credibilidade, Respeito e Imparcialidade), a segunda com a própria tarefa, o trabalho da equipe e a contribuição da empresa para a comunidade (Orgulho), e a terceira com os colegas (Camaradagem). Cada uma dessas cinco categorias (Credibilidade, Respeito, Imparcialidade, Orgulho e Camaradagem) tem peso semelhante no questionário, respondendo por aproximadamente 20% cada uma.

E na Pesquisa USP/Exame?

Na Pesquisa USP/Exame, realizada pela primeira vez em 2006, o modelo teórico é decorrente das pesquisas realizadas pela Fundação Instituto de Administração da USP (FIA-USP) há mais de 20 anos. Reduz-se o peso dado para Satisfação e Motivação como parâmetro principal da relação das pessoas com a empresa e incorpora-se o tema da Identidade, ou a identificação dos funcionários com os valores da empresa e a estratégia do negócio. Além disso, dois indicadores ganham mais peso: 1) Liderança e 2) Aprendizado e Desenvolvimento. Assim, a categoria Identidade tem um peso de 14,1% na nota final de percepção dos funcionários; a categoria Satisfação e Motivação, 46,9%; a categoria Liderança (que demonstra como os funcionários avaliam seus chefes segundo a habilidade para se comunicar, criar compromissos e promover aprendizado, bem como a demonstração de confiança, capacidade de atuar com justiça e de promover o desenvolvimento, além de ser coerente em seu discurso e suas atitudes), 23,4%; e a categoria Aprendizado e Desenvolvimento, 15,6%. Em relação às práticas de gestão de pessoas, a Pesquisa USP analisou seis fatores: remuneração e benefícios; carreira profissional; educação; responsabilidade social e ambiental; integridade física, psíquica e social; e saúde. Isso resulta no Índice de Qualidade na Gestão de Pessoas, que vai de zero a cem pontos.

Fonte: HSM Management Update. Nº 54 – Março 2008.

A tendência são as Pulse Surveys

O estudo Melhores Práticas de Clima e Engajamento, da consultoria Willis Towers Watson [1] afirma que 73%, das 261 empresas brasileiras entrevistadas, realizam pesquisas com empregados (dessas, 52% anualmente e 37% a cada dois anos).

No entanto, 63% já perceberam a necessidade de conduzir pesquisas menores e mais frequentes (as chamadas pulse surveys). Hoje, apenas 25% realizam esse tipo de pesquisa. Ouvir os funcionários com mais frequência permite que as empresas e os líderes estejam mais bem preparados para priorizar e tomar decisões com perspectiva do que irá impactar mais o engajamento.

Fonte: 1. Revista Melhor. Abril 2018. p. 26.

Veja também: Escalas binárias (duas opções são suficientes)