Dá para confiar nas avaliações dos internautas?

Pedro Dória*

Reproduzo adiante um excelente texto do ótimo Pedro Dória, jornalista e escritor, que chama a atenção para a forma tendenciosa de algumas pesquisas, com reflexos nas nossas decisões de compra. Boa leitura!

Os números são uma desgraça: nos EUA, a nota média dos vídeos do YouTube é 4,6. Em um máximo de 5. Segundo o serviço Bazaarvoice, que fornece sistemas para 600 sites de comércio eletrônico, a nota média para os produtos vendidos é 4,3. Na Amazon, maior loja da web, idem. Há duas possibilidades. Ou a qualidade dos produtos vendidos na web é tão estupenda quanto a dos vídeos distribuídos pelo YouTube ou, o que é bem mais provável, as pessoas são generosas demais na avaliação que fazem quando estão em rede.

O mérito da descoberta é de uma equipe de pesquisadores da Universidade de Toronto e quem pinçou o obscuro relatório foram Geoffrey Fowler e Joseph de Ávila, repórteres do Wall Street Journal.

Algumas razões explicam o fenômeno. O que faz alguém, por exemplo, sugerir que determinada marca produz o melhor papel de impressão? Ou a melhor ração de cachorro? Intuitivamente, nós todos compreendemos o que se passa. A culpa é daqueles que dizem entender do assunto. Quem compra equipamento e gosta de achar que sabe fazer recomendações não vai dizer que escolhe algo ruim.

O voto não é no produto. É um voto em si mesmo. “Eu entendo de impressão de fotos e o papel que compro só pode ser o melhor que há.”

Vale para lâmina de barbear ou player de DVD. 0 problema, evidentemente, é que o fenômeno põe em xeque a credibilidade dos sistemas de recomendação em sites de comércio. É possível confiar em resenhas de filmes, de livros. mas são poucos os produtos assim. O melhor CD gravável, quem realmente pode dizer qual o melhor?

Discretamente, a eBay, maior empresa de leilões virtuais, está avaliando vendedores não mais pela nota e sim pelo número de notas 1 e 2 que recebem. Elas são indicadores reais da qualidade. Muitos votos negativos dão mostras de que o sujeito não anda entregando o que deve. Os números são uma desgraça mas ninguém os percebe. Nos EUA, segundo a Nielsen, 72% afirmam confiar em resenhas online.

Enquanto isso, a amostra vicia. A ração de cachorro que recebe mais votos positivos é a que mais vende e, por consequência, é a que receberá ainda mais cinco estrelas a caminho da liderança eterna.

Ração canina e papel de impressora, diga-se, não estão aqui por mero acaso. São os dois produtos mais resenhados na internet americana. Sabe-se lá por quê.

* – Pedro Doria é jornalista. Seus livros tratam de história. “Tenentes, A Guerra Civil Brasileira”, narra como se fosse um thriller os acontecimentos que levaram ao fim da República Velha, na década de 1920, e mostra o surgimento da geração de militares que tomou o poder em 1964. 1565 conta a invenção do sudeste brasileiro e, 1789, a verdadeira história da Inconfidência. Pedro também escreve sobre o impacto da tecnologia, no Globo e no Estado de S. Paulo, além de comentar sobre o tema na CBN. pedro.doria@grupoestado.com.br

Este texto é uma reprodução do jornal Estado de São Paulo. 26.10.09. p. L6, autorizada pelo autor.

Por que as enquetes via Internet não são confiáveis.

Um dos aspectos mais relevantes para que se possa confiar em um levantamento é a representatividade da amostra. Entretanto, em muitas pesquisas, especialmente nas enquetes via Internet, não há qualquer controle sobre a amostra, favorecendo que respondentes com um ponto de vista ou interesse específico prevaleçam no envio das respostas. Este fenômeno é conhecido como “self-selection bias” [1]. Jeremy Shapiro, em texto sobre critérios para avaliar relatórios de benchmarking [2] também chama a atenção para este fenômeno.

Fontes:

[1] – Koomey, Jonathan G. Turning Numbers into Knowledge: Mastering the art of problem solving. Analytics Press. Oakland. Ca. 2nd edition.

[2] – Jeremy Shapiro, Jeremy. How to Evaluate Benchmark Reports. Online Sidebar, Vol. 55 No. 4. 4/1/2010. Disponível em http://www.shrm.org/Publications/hrmagazine/EditorialContent/2010/0410/Pages/0410shapiro1.aspx. Acesso em 13.07.10.