Uma história curiosa.

A história dos testes de “significância” envolve estatísticos que se desprezavam.  Tudo começou com um grupo de acadêmicos que se reuniu para o chá, em 1920. Uma delas foi a Dra. Blanche Bristol que, quando recebeu uma xícara de chá de um colega, recusou.  O homem colocava o chá e depois acrescentava o leite.  A Dra. Bristol rejeitou-o porque preferia que o leite fosse despejado primeiro no copo.  O Dr. Ronald Aylmer Fisher, que servira o chá, afirmou que ela não notaria a diferença.  Ela insistiu que podia.  O Dr. Fisher propôs um teste, que ele descreveu em seu livro The Design of Experiments. Ele prepararia oito xícaras de chá;  quatro com o chá derramado primeiro e quatro com o leite servido primeiro.  Ela tinha que adivinhar qual era qual.

Ele propôs a hipótese nula de que ela seria incapaz de fazer isso corretamente.  Fisher calculou que a chance de adivinhar todos os copos corretamente era de 1/70.  Ele estava disposto a reconhecer sua habilidade (rejeitando a hipótese nula) apenas nesse caso.  Ela, supostamente, acertou todos.  A hipótese nula foi rejeitada.  Este foi o começo do teste de significância.

Fonte: The Danger of Relying on “Statistical Significance”. By Andrew Grenville. June 3, 2019. Disponível em: https://marumatchbox.com/blog/danger-of-relying-on-statistical-significance/ Acesso em 3.06.19.

Nota: O artigo questiona o uso dos testes estatísticos na forma como têm sido aplicados nas pesquisas científicas. Vale a leitura.

Qualidade ou quantidade?

O avanço da informática, tanto do ponto de vista tecnológico como do econômico, levou as organizações a dispor de um volume incomensurável de dados e informações em tempo real. Os argumentos de venda da área de tecnologia são, justamente, rapidez e menor custo. Entretanto, a qualidade das decisões decorre mais de uma análise profunda – estruturada ou intuitiva – feita periodicamente, que da frequência das análises. Até porque análises feitas com muita frequência tendem a se tornar superficiais e pouco elaboradas.

Assim, não é a disponibilidade da informação minuto a minuto que será útil para a gestão da organização. É a observação periódica de indicadores, simples e apropriados, que permite identificar tendências e a aderência dos resultados à estratégia da organização. Administrar uma organização, assim como pilotar um navio, significa conviver com um sistema de inércia elevada, com tempos de respostas longos. Logo, é mais importante uma ação que gere uma resposta bem calibrada que uma ação rápida.

Naturalmente, estamos nos referindo a aspectos gerenciais. Esta abordagem frequentemente não se aplica a questões operacionais onde, por exemplo, para um aumento imprevisto na temperatura do reator, devemos dar uma resposta imediata para garantir seu resfriamento.

Resumindo: Ao trabalhar com indicadores gerenciais, devemos privilegiar a qualidade da informação e da análise à quantidade e à velocidade de acesso aos dados.

Prevendo o futuro – Extrapolações

Gráfico de pontos extrapolado com reta

Extrapolação é o processo mais elementar para fazer previsões. Mas, apresenta uma falha básica. Presume que a tendência vai continuar, o que muitas vezes não é verdade. Extrapolações em escalas exponenciais são particularmente arriscadas (Nate, p. 213).

Observando o crescimento da participação feminina no mercado de trabalho no Paraná no período de 2009 a 2013 fiz uma projeção – de brincadeira – apresentada no Bom Dia RH de outubro de 2014, concluindo que em 2030 todos os postos de trabalho estariam tomados por mulheres. Embora contrariando o bom senso, os número indicavam isso.

A maioria dos economistas confia em seu julgamento quando faz previsões, ao invés de tomar apenas os resultados de modelos estatísticos (Nate, p. 198). Estudo feito nos Estados Unidos (ref. 62 do Nate. Capítulo 6) concluiu que isso resulta em previsões cerca de 15% mais acuradas. Mas, o julgamento pessoal também cria espaço para distorções derivadas – muitas vezes de forma inconsciente – de crenças, preconceitos e interesses pessoais.

Com o advento do big data, alguns autores (ref. 56 da p. 481 do Nate) acreditam que o volume de dados disponíveis permite previsões e conclusões que prescindem de um modelo teórico consistente. Infelizmente, isso não parece ser verdade. Até porque um modelo de causa e efeito permite agir com previsibilidade. Segundo Nate (p. 197), inferências estatísticas são muito mais fortes quando ancoradas na teoria.

Referências

  1. Bachmann & Associados. Benchmarking Paranaense de RH. 2014. Curitiba. PR. “Em média, as mulheres já dominam (2012) 38,0% dos postos de trabalho. Caso o crescimento continuasse no mesmo ritmo dos útimos 4 anos, em 2036 não haverá mais empregos para homens”.
  2. Silver, Nate. The Signal and the Noise: Why So Many Predictions Fail-But Some Don’t. The Penguin Press. New York, 2012. (Inglês) Já disponível em português.

Uma estratégia inteligente

Duas curvas de distribuição. Uma normal e outra com menos variabilidade.

Usualmente buscamos melhorar o resultado médio de um indicador importante para a organização ou para o processo do qual somos responsáveis. Essa pode não ser, entretanto, a forma mais eficaz de conseguir melhorias.

As melhorias conseguidas com esse foco geralmente são temporárias e pouco significativas. Alguns autores [1, 2] defendem, com bons argumentos, que a verdadeira melhoria é conseguida quando trabalhamos para reduzir a variabilidade. Isso porque essa ação exige um conhecimento mais profundo dos processos.

Essa abordagem exige uma análise um pouco mais sofisticada, pois não basta calcular a média aritmética dos resultados obtidos em determinado período de tempo. Embora a variabilidade possa ser medida pela diferença (range) entre o maior valor e o menor valor no período, o ideal é uma análise gráfica dos resultados ao longo do tempo. A melhor ferramenta para essa análise é o gráfico XmR.

Referências

  1. Barr, Stacey. How to Meaningfully Measure On-Time Delivery of Anything Disponível em https://www.staceybarr.com/measure-up/how-to-meaningfully-measure-on-time-delivery-of-anything/ Acesso em 19.06.18.
  2. Donald Wheeler’s book title says it all: Understanding Variation – The Key to Managing Chaos.

Falácias estatísticas exigem interpretação

Talheres, colocados na vertical, com alimentos saudeaveis espetados neles. Coisas como tomate.

Saiu na capa da CNN, segunda-feira 22.10.18: “Alimentos orgânicos reduzem o risco de câncer, diz estudo”.

Quem se der ao trabalho de pular a reportagem e ir direto para o estudo vai perceber que as amostras de populações com baixa frequência de câncer têm uma série de hábitos: elas fumam menos, bebem menos álcool, têm menos gordura no corpo, possuem maior renda média, maior nível educacional, fazem esportes regularmente e comem alimentos orgânicos.

Percebe a nuance?

Nada contra o alimento orgânico, mas ele não é a causa em si por trás da redução do risco de câncer. Ele é apenas um marcador das outras verdadeiras causas.

Por exemplo: se você ganha bem, você tem mais dinheiro sobrando para comprar os alimentos orgânicos, que são tipicamente mais caros; e você tem também dinheiro sobrando para se aposentar numa boa.

NOTA: Texto transcrito de e-mail da Empiricus (Rodolfo Amstalden) de 27.10.18.

Analisando dados

Funil com gráficos de linhas internamente

Ao analisar dados, devemos levar em conta os números mas, também, o contexto em que eles foram colhidos e as características dos processos e das pessoas que serão impactadas pelo resultado da análise. Devemos buscar uma visão abrangente, incluindo aspectos técnicos, humanos, políticos e, por vezes, até de clima. Um alerta sábio sobre os cuidados que devemos ter nas análises foi dado pelo general Donald Rumsfeld.

Existem conhecidos conhecidos. Estas são coisas que sabemos que sabemos.

Existem desconhecidos conhecidos. Ou seja, há coisas que sabemos que não sabemos.

Mas também há desconhecidos desconhecidos. Coisas que não sabemos que não sabemos.

Donald Rumsfeld

Um benefício caro mas importante

Gráfico de barras com a evolução dos custos de saúde nas empresas.

Evolução dos custos dos planos de saúde nas empresas, % da folha

O custo dos planos de saúde representa parcela importante da folha de pagamento das empresas. Levantamento da Mercer Marsh Beneficios [1] mostra que, ao longo dos anos, esse custo está crescendo rapidamente, dado que a “inflação” nos serviços de saúde é maior que a elevação de preços em geral.

Em tua empresa, qual é o indicador usado para monitorar esse importante custo? Anote nos comentários.

Fonte: 1 – Revista Melhor: gestão de pessoas. Dez. 2017. pp. 44-45.

Como as pessoas reagem aos números

Se um político pretende usar os números para explicar alguma coisa aos eleitores, diz Gary Base, cientista da Universidade do Kansas, deve mostrá-los em três formatos.

Por exemplo: se ele pretende conseguir verba para montar centros de tratamento de uma doença rara, deve dizer que essa doença atinge um a cada mil brasileiros – ou seja, atinge 185 mil brasileiros. Gary Base estuda como as pessoas compreendem os números: diz que, no geral, elas acham mais fácil compreender frequências (um a cada mil), grandes porcentagens (20% ou 60%) e números absolutos (185 mil).

Mas uma coisa é explicar, outra é persuadir. Se um político pretende persuadir os eleitores, deve mostrar só o número absoluto, especialmente se for grande, como 185 mil. As pessoas dão maior importância para 185 mil brasileiros do que para 0,1% dos brasileiros, embora o número seja o mesmo.

Ao contrário, se o político da oposição pretende dissuadir os eleitores, deve usar só a versão pequena do número – 0,1%. “As pessoas não entendem números assim de verdade”, diz Base. “O que elas entendem é: isso é muito, muito pouco.”

Fonte: Revista Informática Hoje ano 24 – Julho 2008, p. 6.

The Signal and the Noise – Resumo do livro

The signal and the Noise

Fazendo uso de exemplos fundamentados na política norte-americana, nos jogos de baseball, em projeções econômicas e na probabilidade de ocorrências de terremotos, o autor apresenta os aspectos mais importantes no trabalho de previsão de resultados.

Enquanto as eleições americanas são tema de conhecimento comum, as muitas considerações sobre beisebol – esporte pouco conhecido entre nós – podem ser enfadonhas; o capítulo sobre a bolha do pôquer foi, ao menos para mim, intragável.

Ainda assim, para os curiosos sobre o tema da análise e interpretação de dados, é um livro instigante e interessante. Mas, o foco do autor está nas muitas histórias interessantes e pouco contribui com ferramental para separar os sinais dos ruídos, como por exemplo o Controle Estatístico de Processos CEP, ferramenta apenas citada no texto.

Algumas observações selecionadas:

A verdadeira era da informação começou em 1440, com a invenção da imprensa por Johannes Guttemberg. Antes, uma página de livro manuscrito custava cerca de 20 dólares, limitando o acesso ao conhecimento.

É importante lembrar que os modelos são simplificações da realidade e devem ser usados com cuidado.

Um sinal é uma indicação de uma verdade subjacente por trás de uma estatística ou problema preditivo, enquanto ruídos são padrões aleatórios que podem facilmente ser confundidos com sinais. O sinal é a verdade. O ruído é o que nos distrai da verdade.

O objetivo de qualquer modelo de predição é capturar tantos sinais quanto possível e tão poucos ruídos quanto puder. Armstrong argumenta que “quanto mais complexo o modelo, piores são as previsões”. É uma frase bonita que faria sucesso nas redes sociais, mas que deve ser encarada com algum ressalva.

Na estatística, a confusão de tomar ruídos como sinais é denominada overfitting. Modelos puramente estatísticos, com grande número de variáveis e uma pequena quantidade de eventos para sua validação, geralmente levam ao risco de overfitting. Esse risco é consideravelmente menor quando se usa modelos físicos de causa e efeito.

Segundo o autor, o caminho para maior objetividade é reconhecer a influência que nossas premissas têm em nossas previsões.

A estatística tem sido parte dos esportes desde há muito tempo. O primeiro conjunto de informações – com cinco informações sobre cada jogador – foi publicado em jornal por Henry Chadwick em 1859.

Nosso instinto é categorizar as informações, geralmente em um pequeno número de categorias, pois isso facilita o entendimento.

A inspeção visual de um gráfico que mostra a interação entre duas variáveis geralmente é um caminho mais rápido e confiável para identificar outliers nos dados do que um teste estatístico.

Predizer o passado é um oximoro e obviamente não pode ser contado entre os sucessos.

A estatística é uma das habilidades fundamentais necessárias à ciência dos dados.

Uma previsão científica exige um resultado probabilístico, ou seja, nas previsões é importante informar também a incerteza. Coisa comum nas pesquisas eleitorais, porém rara nos resultados de outras previsões. Laplace via a probabilidade como um meio caminho entre a ignorância e o conhecimento.

A heurística do “acompanhe a maioria, especialmente quando não sabe nada melhor” normalmente funciona bem.

Consenso não é sinônimo de unanimidade, mas um grande acordo obtido após um processo de deliberação. É, portanto, uma alternativa à votação.

Informação só se transforma em conhecimento quando colocada em um contexto.

Fonte:

Silver, Nate. The Signal and the Noise: Why So Many Predictions Fail-But Some Don’t. The Penguin Press. New York, 2012. (Inglês)

Nota: Já está disponível em português.

Os números são os mesmos, mas…

Diferentes formas de mostrar a mesma coisa, mas com diferentes impactos

A forma como os dados são apresentados é relevante para que haja entendimento e uma correta interpretação da realidade. Esse aspecto se aplica tanto a notícias quanto a informações empresariais e, nos dois casos, pode levar à diferentes conclusões, influenciando as decisões tomadas.

Vejamos o seguinte texto, extraído do Balanço Social da Petros de 2009*: “Ao final de 2009 havia 129 empregados negros e pardos na Fundação. Em comparação com o ano anterior, quando a Petros registrou um total de 108 empregados negros e pardos, o aumento foi de 17,6%”.

Mostrado dessa forma, a instituição parece ter dado um grande passo para a diversidade de sua equipe. Mas, como o corpo funcional da Fundação Petros cresceu de 431 em 2008 para 469 em 2009, o percentual de empregados negros e pardos cresceu de 25,0% para 27,5%, o que representa um acréscimo de 2,5 pontos percentuais no período.

Nos dois casos a informação é a mesma, mas a forma de apresentar e o impacto são diferentes. Em sua opinião, qual é a forma mais apropriada e ética de mostrar a evolução ocorrida?

* – Petros, Relatório Anual de Responsabilidade Social Empresarial 2009: Balanço Social. Rio de Janeiro. 2010. p. 58.