How to lie with statistics

Capa do livro.

Este livro é um clássico e, por ser muito citado, há tempos queria ler.

Na verdade, esperava um livro bastante técnico, mas fui surpreendido com um texto leve e com histórias interessantes.

Em sua defesa para a publicação das formas como a estatística é usada para distorcer as informações, o autor afirma que os bandidos já conhecem esses truques; pessoas honestas devem aprendê-las em legítima defesa.

O texto critica fortemente a qualidade das amostras usadas nas pesquisas de opinião.

Além de interessante, o livro é útil para despertar o senso crítico tanto de analistas de dados quanto do cidadão comum que se informa por meio da leitura e da televisão. Veja, adiante, algumas considerações do autor:

  • O uso de figuras, em substituição às barras, no clássico gráfico de barras, distorce a informação, pois mesmo quando a altura é proporcional às das barras, quase sempre cria uma percepção diferente, devido à noção que temos das áreas e dos volumes das figuras.
  • Existem muitas maneiras de expressar qualquer resultado. Você pode, por exemplo, expressar exatamente o mesmo fato, chamando-o de um retorno de vendas de um por cento, um retorno de investimento de quinze por cento, um lucro de dez milhões de dólares, um aumento de lucros de quarenta por cento (comparativamente à média de 1935-39), ou uma diminuição de sessenta por cento em relação ao ano anterior.  O truque é escolher o que soa melhor para o objetivo em questão e confiar que poucos que o lerem reconhecerão o quão imperfeitamente reflete a situação.
  • Um tipo comum de correlação é aquele em que a relação é real, mas não é possível ter certeza de qual das variáveis ​​é a causa e qual o efeito.  Em alguns desses casos, causa e efeito podem mudar de lugar de tempos em tempos. Ou, de fato, ambos podem ser causa e efeito ao mesmo tempo.  Uma correlação entre renda e propriedade de ações pode ser desse tipo.
  • Permitir que o tratamento estatístico e a presença hipnótica de números e pontos decimais seja incompreensível para as relações causais é pouco melhor que a superstição. E muitas vezes é mais seriamente enganador. É como a convicção entre o povo de Vanuatu que o piolho no corpo produz boa saúde. A observação ao longo dos séculos ensinou-lhes que as pessoas de boa saúde geralmente tinham piolhos, enquanto os doentes muitas vezes não. A observação em si foi precisa e correta, pois ocorreram ao longo de muitos anos. Daí a conclusão a que essas pessoas primitivas tiraram de suas evidências: os piolhos tornam um homem saudável. Todo mundo deveria tê-los.

Nota; O e-book está disponível para download gratuito na Internet.

O livro

Huff, Darrel. How to Lie with Statistics. W. W. Norton & Company Inc. New York, 1954.

Indicadores mais comuns no RH

Imagem de Mohamed Hassan por Pixabay

O Estudo de Indicadores RH 2020, feito pela Carreira Müller, levantou as métricas de RH mais usadas pelas empresas. Os resultados (ver tabela) confirmam a Rotatividade como a preferida pelos profissionais da área, sendo monitorada por 86% dos entrevistados, enquanto o Custo da Rotatividade – indicador considerado mais relevante pela alta direção das empresas – é acompanhado por apenas 16% das organizações.

Também é interessante notar que mais de um terço das empresas acompanha o Índice de Reclamações Trabalhistas, evidenciando a dificuldade de atender uma legislação complexa e sujeita a muitas interpretações.

Tabela – Indicadores apurados pelo RH

Deseja ajuda para escolher e analisar os indicadores e obter melhores resultados? Podemos ajudar. Conheça nosso serviço.

Controle Estatístico de Processos – CEP

Do mesmo modo que há pequenas variações no sabor dos bolos ou churrascos, ainda que preparados pela mesma pessoa, todos os processos têm alguma variação natural e inerente.

Então, se o resultado de um indicador é um pouco melhor ou pior que no momento anterior, isso não indica, necessariamente, que o processo melhorou ou piorou.

Muitas vezes, levados por resultados que estão dentro da faixa normal de variação, tendemos a atuar de forma indevida no processo, provocando sua piora ou o desperdício de recursos.

A dificuldade do gestor é distinguir o que é uma variação normal, que deve ser ignorada,  de uma  mudança real que exige a correção do processo.

Embora esses sinais às vezes sejam facilmente percebidas, como quando ocorre um erro humano ou uma alteração nas características da matéria prima, na maioria dos casos não é evidente. Por exemplo, as decorrentes de desgaste de equipamentos ou da substituição de pessoas sem o treinamento adequado, em que o desempenho do processo ou as características dos produtos pioram paulatinamente.

Uma técnica eficaz para distinguir os ruídos dos sinais que indicam problemas é o uso do Controle Estatístico de Processo (CEP).

Essa abordagem, mais científica, pode trazer grandes ganhos às organizações.

Variações naturais Quando alguém com cerca de 72 kg deseja controlar seu peso e sobe na balança todo dia, no mesmo horário, pode observar medidas como as da tabela adiante.

Momento Dia 1 Dia 2 Dia 3 Dia 4 Dia 5 Dia 6
Peso, kg 72,3 72,5 72,1 71,8 72,3 71,9

Ao pesar 72,5 kg, a pessoa não decidiria iniciar imediatamente uma dieta. Ela sabe que pequenas variações são normais e não representam descontrole no peso.

Entretanto essa mesma pessoa, ao observar o indicador mensal de absenteísmo em sua empresa, sente-se na obrigação de “tomar uma ação” se o resultado do indicador se elevou um pouco.

Por quê isso acontece? Porque com seu peso ela já tem sensibilidade sobre quais variações podem ser consideradas normais, mas o mesmo não acontece na medida do absenteísmo.

Essas variações naturais, típicas de um processo ou sistema, são denominadas de ruídos. Portanto, são diferentes de valores que sinalizam algum tipo de problema; no exemplo, um aumento ou uma diminuição do peso que pudesse justificar uma dieta ou atenção médica.

Carta de Controle – CEP

A carta de controle é um gráfico constituído por uma linha horizontal, central, que representa a média dos valores medidos de uma característica. Acima e abaixo, simetricamente a linha central, são colocados duas linhas que, de forma calculada, delimitam os valores considerados normais, de acordo com uma probabilidade de ocorrência. Os valores que ocorrem em tomo da média, dentro dos limites, superior e inferior, tem variações aleatórias produzidas por múltiplas causas, variações essas que somente poderão ser reduzidas se o processo for modificado (Variação Crônica). Valores fora dos limites mostram que houve uma causa preponderante para as suas ocorrências, que pode ser descoberta e corrigida (Variação Esporádica).

Lembram do Alice no País das Maravilhas?  a menina tomava o líquido de um vidrinho e crescia; tomava de outro e diminuía. Voltava a tomar do primeiro e crescia novamente. Nós não vivemos em um mundo mágico. Vivemos em um mundo regido pela estatística. Então, quando temos variações de crescimento e redução em uma série de dados, temos duas situações: os dados não foram bem colhidos e temos um problema de representatividade ou as variações são pequenos para cima e para baixo indicando que se trata de um processo estável e sob controle.

A probabilidade de ocorrer sete pontos do mesmo lado da linha central fazer parte da variação de rotina é próxima de zero (0,78%, para ser preciso).

Referências

1. Campos, Vicente Falconi, TQC – Controle da Qualidade Total: no estilo japonês, Belo Horizonte, Editora de Desenvolvimento Gerencial, 1999.

2. Wheeler, Donald J. Understanding Variation: The key to managing chaos. SPC Press, Inc. Tenesse. 1993.

3. Siqueira, Luiz G. P. Controle Estatístico do Processo. Pioneira. São Paulo. 1997.

Serviço: A Bachmann & Associados oferece serviço de consultoria, ajudando sua equipe a construir e usar Gráficos de Controle (CEP) de modo fácil e prático.

A amostra induz ao resultado

Desenho de avião, em planta, mostrando pontos em que recebeu projéteis.

Durante a Segunda Guerra Mundial, na tentativa de reduzir o número de aviões abatidos pelo inimigo, os aliados estudaram onde os aviões retornados sofreram mais danos. Desta forma, eles poderiam reforçar essas partes. A conclusão: reforçar as pontas das asas, os lemes e o centro do avião, que foi onde eles identificaram mais impactos.

Mas Abraham Wald, um estatístico que trabalhava para a defesa, propôs algo diferente: reforçar o cockpit, os motores e as costas do corpo. E por que reforçar as áreas onde não houve impactos?

O que eles não haviam considerado é que havia um viés importante ao fazer o estudo. Eles estavam apenas observando os aviões que conseguiram retornar.

Wald identificou que a distribuição dos impactos seria mais ou menos homogênea. Eles viram impactos em áreas que não eram vitais. Porque, apesar de sofrerem grandes danos, os aviões conseguiram retornar à base.

Se um avião receber grandes danos na cabine, nos motores e na cauda, ele será abatido e, assim, será incapaz de retornar à base. Mas estes não foram considerados no estudo inicial.

Esse fenômeno é algo que na estatística chamamos de “viés de seleção”. Muitas vezes, dados mal interpretados ou “intuição” nos levam a tomar decisões erradas [1]. 

Outro exemplo, desta vez na análise de fundos de investimento, mostra problema semelhante. A empresa de análise de investimentos americana Morningstar criou uma categoria de fundos chamada Large Blend — aqueles que aplicam em ações de grandes empresas da bolsa americana.

De acordo com seus cálculos, esses fundos cresceram, em média, 178,4% de 1995 a 2004 — quase 11% ao ano. Um ótimo investimento para os padrões americanos. Entretanto, um estudo de 2006, feito pela gestora Savant Capital, questiona esse sucesso.

Para chegar ao resultado, a Morningstar pegou todos os fundos classificados como Large Blend e viu quanto cresceram no prazo de dez anos. Mas ignorou os fundos que já não existiam; esses, provavelmente, são os que não deram lucro. 

Julgar o desempenho de uma categoria de fundos por uma década considerando apenas os que permanecem operando no final do período é, claramente, uma distorção que favorece os bons resultados. Se os fundos mortos fossem incluídos no cálculo, a taxa de retorno cairia para 134,5%, média anual inferior a 9%.

Conclusão: A análise dos dados deve começar pelo verificação de sua representatividade. 

Não há nada mais enganador do que um fato óbvio. Sherlock Holmes

Referências:

1.             Jacle Garbretch, no LinkedIn em 5.06.19.

2.             https://exame.abril.com.br/ciencia/uma-defesa-apaixonada-do-pensamento-matematico/ Acesso em 8.06.19.

Uma história curiosa.

A história dos testes de “significância” envolve estatísticos que se desprezavam.  Tudo começou com um grupo de acadêmicos que se reuniu para o chá, em 1920. Uma delas foi a Dra. Blanche Bristol que, quando recebeu uma xícara de chá de um colega, recusou.  O homem colocava o chá e depois acrescentava o leite.  A Dra. Bristol rejeitou-o porque preferia que o leite fosse despejado primeiro no copo.  O Dr. Ronald Aylmer Fisher, que servira o chá, afirmou que ela não notaria a diferença.  Ela insistiu que podia.  O Dr. Fisher propôs um teste, que ele descreveu em seu livro The Design of Experiments. Ele prepararia oito xícaras de chá;  quatro com o chá derramado primeiro e quatro com o leite servido primeiro.  Ela tinha que adivinhar qual era qual.

Ele propôs a hipótese nula de que ela seria incapaz de fazer isso corretamente.  Fisher calculou que a chance de adivinhar todos os copos corretamente era de 1/70.  Ele estava disposto a reconhecer sua habilidade (rejeitando a hipótese nula) apenas nesse caso.  Ela, supostamente, acertou todos.  A hipótese nula foi rejeitada.  Este foi o começo do teste de significância.

Fonte: The Danger of Relying on “Statistical Significance”. By Andrew Grenville. June 3, 2019. Disponível em: https://marumatchbox.com/blog/danger-of-relying-on-statistical-significance/ Acesso em 3.06.19.

Nota: O artigo questiona o uso dos testes estatísticos na forma como têm sido aplicados nas pesquisas científicas. Vale a leitura.

Qualidade ou quantidade?

O avanço da informática, tanto do ponto de vista tecnológico como do econômico, levou as organizações a dispor de um volume incomensurável de dados e informações em tempo real. Os argumentos de venda da área de tecnologia são, justamente, rapidez e menor custo. Entretanto, a qualidade das decisões decorre mais de uma análise profunda – estruturada ou intuitiva – feita periodicamente, que da frequência das análises. Até porque análises feitas com muita frequência tendem a se tornar superficiais e pouco elaboradas.

Assim, não é a disponibilidade da informação minuto a minuto que será útil para a gestão da organização. É a observação periódica de indicadores, simples e apropriados, que permite identificar tendências e a aderência dos resultados à estratégia da organização. Administrar uma organização, assim como pilotar um navio, significa conviver com um sistema de inércia elevada, com tempos de respostas longos. Logo, é mais importante uma ação que gere uma resposta bem calibrada que uma ação rápida.

Naturalmente, estamos nos referindo a aspectos gerenciais. Esta abordagem frequentemente não se aplica a questões operacionais onde, por exemplo, para um aumento imprevisto na temperatura do reator, devemos dar uma resposta imediata para garantir seu resfriamento.

Resumindo: Ao trabalhar com indicadores gerenciais, devemos privilegiar a qualidade da informação e da análise à quantidade e à velocidade de acesso aos dados.

Prevendo o futuro – Extrapolações

Gráfico de pontos extrapolado com reta

Extrapolação é o processo mais elementar para fazer previsões. Mas, apresenta uma falha básica. Presume que a tendência vai continuar, o que muitas vezes não é verdade. Extrapolações em escalas exponenciais são particularmente arriscadas (Nate, p. 213).

Observando o crescimento da participação feminina no mercado de trabalho no Paraná no período de 2009 a 2013 fiz uma projeção – de brincadeira – apresentada no Bom Dia RH de outubro de 2014, concluindo que em 2030 todos os postos de trabalho estariam tomados por mulheres. Embora contrariando o bom senso, os número indicavam isso.

A maioria dos economistas confia em seu julgamento quando faz previsões, ao invés de tomar apenas os resultados de modelos estatísticos (Nate, p. 198). Estudo feito nos Estados Unidos (ref. 62 do Nate. Capítulo 6) concluiu que isso resulta em previsões cerca de 15% mais acuradas. Mas, o julgamento pessoal também cria espaço para distorções derivadas – muitas vezes de forma inconsciente – de crenças, preconceitos e interesses pessoais.

Com o advento do big data, alguns autores (ref. 56 da p. 481 do Nate) acreditam que o volume de dados disponíveis permite previsões e conclusões que prescindem de um modelo teórico consistente. Infelizmente, isso não parece ser verdade. Até porque um modelo de causa e efeito permite agir com previsibilidade. Segundo Nate (p. 197), inferências estatísticas são muito mais fortes quando ancoradas na teoria.

Referências

  1. Bachmann & Associados. Benchmarking Paranaense de RH. 2014. Curitiba. PR. “Em média, as mulheres já dominam (2012) 38,0% dos postos de trabalho. Caso o crescimento continuasse no mesmo ritmo dos útimos 4 anos, em 2036 não haverá mais empregos para homens”.
  2. Silver, Nate. The Signal and the Noise: Why So Many Predictions Fail-But Some Don’t. The Penguin Press. New York, 2012. (Inglês) Já disponível em português.

Uma estratégia inteligente

Duas curvas de distribuição. Uma normal e outra com menos variabilidade.

Usualmente buscamos melhorar o resultado médio de um indicador importante para a organização ou para o processo do qual somos responsáveis. Essa pode não ser, entretanto, a forma mais eficaz de conseguir melhorias.

As melhorias conseguidas com esse foco geralmente são temporárias e pouco significativas. Alguns autores [1, 2] defendem, com bons argumentos, que a verdadeira melhoria é conseguida quando trabalhamos para reduzir a variabilidade. Isso porque essa ação exige um conhecimento mais profundo dos processos.

Essa abordagem exige uma análise um pouco mais sofisticada, pois não basta calcular a média aritmética dos resultados obtidos em determinado período de tempo. Embora a variabilidade possa ser medida pela diferença (range) entre o maior valor e o menor valor no período, o ideal é uma análise gráfica dos resultados ao longo do tempo. A melhor ferramenta para essa análise é o gráfico XmR.

Referências

  1. Barr, Stacey. How to Meaningfully Measure On-Time Delivery of Anything Disponível em https://www.staceybarr.com/measure-up/how-to-meaningfully-measure-on-time-delivery-of-anything/ Acesso em 19.06.18.
  2. Donald Wheeler’s book title says it all: Understanding Variation – The Key to Managing Chaos.

Falácias estatísticas exigem interpretação

Talheres, colocados na vertical, com alimentos saudeaveis espetados neles. Coisas como tomate.

Saiu na capa da CNN, segunda-feira 22.10.18: “Alimentos orgânicos reduzem o risco de câncer, diz estudo”.

Quem se der ao trabalho de pular a reportagem e ir direto para o estudo vai perceber que as amostras de populações com baixa frequência de câncer têm uma série de hábitos: elas fumam menos, bebem menos álcool, têm menos gordura no corpo, possuem maior renda média, maior nível educacional, fazem esportes regularmente e comem alimentos orgânicos.

Percebe a nuance?

Nada contra o alimento orgânico, mas ele não é a causa em si por trás da redução do risco de câncer. Ele é apenas um marcador das outras verdadeiras causas.

Por exemplo: se você ganha bem, você tem mais dinheiro sobrando para comprar os alimentos orgânicos, que são tipicamente mais caros; e você tem também dinheiro sobrando para se aposentar numa boa.

NOTA: Texto transcrito de e-mail da Empiricus (Rodolfo Amstalden) de 27.10.18.

Analisando dados

Funil com gráficos de linhas internamente

Ao analisar dados, devemos levar em conta os números mas, também, o contexto em que eles foram colhidos e as características dos processos e das pessoas que serão impactadas pelo resultado da análise. Devemos buscar uma visão abrangente, incluindo aspectos técnicos, humanos, políticos e, por vezes, até de clima. Um alerta sábio sobre os cuidados que devemos ter nas análises foi dado pelo general Donald Rumsfeld.

Existem conhecidos conhecidos. Estas são coisas que sabemos que sabemos.

Existem desconhecidos conhecidos. Ou seja, há coisas que sabemos que não sabemos.

Mas também há desconhecidos desconhecidos. Coisas que não sabemos que não sabemos.

Donald Rumsfeld