Ordem das questões em uma pesquisa

Imagem por Artjane em Pixabay.

As cédulas eleitorais em papel têm, necessariamente, que listar os candidatos em alguma ordem. É sabido que os candidatos se beneficiam de serem listados primeiro. Um estudo descobriu que um candidato cujo nome é listado primeiro ganha cerca de 3,5 pontos percentuais na votação [1].

O efeito é menor quando os candidatos são bem conhecidos, como nas eleições presidenciais, mas quando os candidatos têm pouco reconhecimento de nome ou pouca cobertura da mídia (como na maioria das eleições locais), o efeito pode ser ainda maior.

O  mesmo acontece nas pesquisas de satisfação realizadas junto aos clientes e aos colaboradores. Então, é preciso ter muito cuidado para evitar distorções. Se a ordem das questões no questionário da pesquisa pode alterar a conclusão que interessa ao cliente, ou aos usuários dos resultados, temos as seguintes alternativas:

A. Fazer a pesquisa com vários questionários, em que a ordem das perguntas é alterada. Em sistemas informatizados isso é fácil.

B. Tomar o cuidado de só analisar variações em relação a levantamentos anteriores, em que a ordem das questões era a mesma.

Referência:

1. Koppell, Jonathan G. S., and Jennifer A. Steen. The Effects of Ballot Position on Election Outcomes. Journal of Politics 66 (2004): 267-81. Citado em Thaler, Richard H. e Sunstein, Cass R. Nudge: Improving Decisions About Health, Wealth, and Happiness. Penguin Books. USA. 2009. p. 249.

Linha de Base (Baseline)

Desenho de gráfico em que uma mão desloca um dos resultados.

A Linha de Base (baseline) é o nível de desempenho médio de um processo ou sistema em determinado momento. É a referência essencial para comparação com a performance futura, permitindo avaliar se realmente houve melhoria. Ou, de outro modo, é o resultado das medidas feitas antes de uma intervenção, permitindo comparar e avaliar o efeito das ações tomadas. Afinal, sem conhecer a situação existente, é difícil determinar o progresso alcançado.

Por quê não se fala em ponto de partida, mas em linha de base? Porque, devido à variabilidade dos processos, é difícil determinar um único ponto representativo da realidade. A baseline deve ser fruto de várias medidas, para maior certeza de que não se trata de uma condição atípica decorrente de variações naturais ou de um pico (para mais ou para menos) aleatório.

Segundo Stacey Barr [1] , o número mínimo de pontos para estabelecer uma referência que descreva a situação inicial é cinco. Logo, o histórico é fundamental, pois os dados apenas do último período podem não representar a realidade.

A melhor maneira de determinar a linha de base é usar a Linha Central do gráfico XmR do processo (ver CEP).

Exemplo de gráfico de Controle Estatístico de Processo CEP.

A determinação correta da baseline é particularmente importante nos casos onde o processo é irreversível, como o ganho de experiência de um grupo  profissional, por exemplo.

Dica: Para determinar a linha de base de um indicador sujeito a sazonalidades, é importante dessazonalizar os dados.

Se a meta é o ponto de chegada, a “linha de base” (baseline) é a situação de partida. Não faz sentido desenvolver um plano de ações se não soubermos onde estamos e para onde queremos ir. – Dórian

Referência

  1. Stacey Barr. How to Set a KPI Baseline to Monitor Improvement. January 10, 2018.