Analisando dados

Funil com gráficos de linhas internamente

Ao analisar dados, devemos levar em conta os números mas, também, o contexto em que eles foram colhidos e as características dos processos e das pessoas que serão impactadas pelo resultado da análise. Devemos buscar uma visão abrangente, incluindo aspectos técnicos, humanos, políticos e, por vezes, até de clima. Um alerta sábio sobre os cuidados que devemos ter nas análises foi dado pelo general Donald Rumsfeld.

Existem conhecidos conhecidos. Estas são coisas que sabemos que sabemos.

Existem desconhecidos conhecidos. Ou seja, há coisas que sabemos que não sabemos.

Mas também há desconhecidos desconhecidos. Coisas que não sabemos que não sabemos.

Donald Rumsfeld

Causa e efeito – uma análise interessante

Gato brincando com lã

As correlações podem ser valiosas, especialmente para fazer previsões. Mas isso não basta. Para termos controle sobre nossa capacidade de fazer mudanças, precisamos saber se realmente existe um relacionamento causal.

Por exemplo, o geneticista inglês Ronald A. Fisher identificou uma correlação entre a importação de maçãs e a taxa de divórcios, que claramente não tem relação de causa e efeito. Assim, limitar a compra internacional da fruta não é solução para melhorar o relacionamento dos casais.

Outra razão pela qual dois fatores podem ser correlacionados, ainda que não haja relação de causa e efeito, é quando eles têm uma causa comum.

Tais confusões são muito comuns na literatura científica. Por exemplo, um estudo de 1999, publicado na revista Nature (www.nature.com/articles/20094) mostrou que crianças com menos de dois anos de idade que dormiam com luzes noturnas eram mais propensas a ter miopia. Outros pesquisadores mostraram mais tarde (www.nature.com/articles/35004663) que os pais míopes eram mais propensos a manter as luzes acesas durante a noite. Pode ser que os pais fossem uma causa comum do uso de luzes noturnas e, em virtude de herança genética, a miopia fosse transmitida aos filhos. Nesse caso, a razão pela qual os dois fatores podem ser correlacionados, embora não tenha relação de causa e efeito, é que eles têm uma causa comum.

Fonte: Nick Barrowman, “Correlation, Causation, and Confusion,” The New Atlantis, Number 43, Summer/Fall 2014, pp. 23–44. Disponível em: http://www.thenewatlantis.com/publications/correlation-causation-and-confusion. Acesso em 25.04.17.

Gráfico com a variação do PIB da China

Fonte: Empiricus Research. E-mail de 15.07.15.

Nota: Além de permitir previsões, as correlações podem ser usadas em análises. Uma publicação financeira fez o seguinte comentário: “É interessante observar que o governo Chinês informou uma inesperada recuperação do PIB. Entretanto, o índice de Fretes em Containers, que costuma apresentar uma boa correlação com o PIB não corresponde à boa notícia. Então, o Mercado colocou a notícia sob suspeição”.

Erros em pesquisas eleitorais

Urna eletrônica

Ultimamente os resultados das pesquisas eleitorais feitas por institutos de renome têm sido questionados, prejudicando a credibilidade desse tipo de trabalho.

A associação das empresas de pesquisa deveria desenvolver um sistema para calcular e comunicar a “margem de erro histórica” – isto é, a precisão das pesquisas em comparação com os resultados eleitorais reais, que capturariam erros do mundo real em vez de erros estatísticos meramente teóricos.

Fonte: The report “A Review of the Public Opinion Polling Conducted During the 2017 Calgary Election”, prepared for the Marketing Research and Intelligence Association by Christopher Adams, Paul Adams and David Zussman.

Eficácia no recrutamento e seleção

Conjunto de homens de neg´pcio em que uma mão escolhe um

Para avaliar a eficácia do Processo de Recrutamento e Seleção, a Catho [1] usa os indicadores:

  • Tempo para contratar
  • Custo para contratar
  • Qualidade da contratação

Em uma visão mais abrangente, Jac Fitz-enz [2] recomenda que se meça :

  • Tempo de resposta
  • Tempo para preencher a vaga
  • Custo de contratação
  • Taxa de aceite
  • Qualidade das contratações

Mas, o “Custo para Contratar” e o “Tempo para Contratar” são indicadores que contam apenas parte da história e não devem ser, de modo algum, os mais importantes na gestão dos processos de recrutamento e seleção.

Uma seleção rápida e barata, que inclusive pode ser feita por profissionais pouco preparados, pode levar a organização a contratar pessoas inadequadas que serão desligadas em curto período de tempo. Isso traz custos financeiros para a empresa e emocionais para a equipe; mas, pode ser ainda pior, o profissional inadequado pode “ir ficando” ainda que não ofereça o que a empresa poderia ter pelo mesmo custo. Logo, é fácil imaginar que a melhor prática seria considerar os custos da contratação e também os benefícios que o contratado pode trazer à organização ao longo de sua vida na empresa.

Esse indicador é o “Retorno sobre o Investimento” (ROI, na sigla em inglês) que, embora na maioria dos casos exija algumas estimativas, é sem dúvida uma referência mais adequada para avaliar e direcionar o processo de recrutamento e seleção.

Sendo assim, porque o RH insiste em usar o “Custo para Contratar” como o indicador chave da atividade? A McKinsey [3] dá uma pista ao afirmar que os gestores de RH têm dificuldades para medir os impactos da função na organização e preferem uma métrica fácil de calcular.

Parece evidente que economizar alguns reais na contratação e conviver com um profissional errado por muitos anos, o que certamente terá um custo bem maior, não é a melhor opção. Um levantamento do Boston Consulting Group [4] indica que empresas que contratam bem – e isso certamente não é contratar mais barato – têm margem de lucro duas vezes maior que as empresas que não concentram esforço nessa atividade.

Essa é uma análise importante que o gestor de RH deve fazer para estabelecer as diretrizes e o processo de contratação da organização.

Referências:

  1. Comunicação de Thomas A. Case, de 5.3.07
  2. Fitz-enz, Jac e Davison, Barbara. How to Measure Human Resources Management. McGraw-Hill. 2002. 3rd edition. p. 103.
  3. Green, David. Cost Per Hire: It’s the wrong recruiting metric, Gromit. Disponível em:
    https://www.linkedin.com/pulse/20141204082733-12091643-time-to-cure-cost-per-hire-myopia/ Acesso em 6.07.18.
  4. Boston Consulting Group. Realizing the Value of People Management: From Capability to Profitability. Disponível em: www.bcg.com/publications/2012/people-management-human-resources-leadership-from-capability-to-profitability.aspx. Acesso em 6.07.18.

Factfulness – Livro recomendado pelo Bill Gates

Capa do livro FactFulness

Indicadores nos dão uma visão objetiva e consistente do progresso, seja em nossa organização, seja em um país.

O trecho adiante (em ingl̻s), retirado do livro Factfulness Рque tem sido recomendado por Bill Gates Рmostra como boas m̩tricas podem ser ̼teis. Vale a leitura.

It was October 1995 and little did I know that after my class that evening, I was going to start my lifelong fight against global misconceptions. “What is the child mortality rate in Saudi Arabia? Don’t raise your hands. Just shout it out.” I had handed out copies of tables 1 and 5 from UNICEF’s yearbook. The handouts looked dull, but I was excited.

A choir of students shouted in unison: “thirty-five.”

“Yes. Thirty-five. Correct. This means that 35 children die before their fifth birthday out of every thousand live births. Give me the number now for Malaysia?”

“fourteen,” came the chorus.

As the numbers were thrown back at me, I scribbled them with a green pen onto a plastic film on the overhead projector.

“Fourteen,” I repeated. “Fewer than Saudi Arabia!”

My dyslexia played a little trick on me and I wrote “Malaisya.” The students laughed.

“Brazil?”

“fifty-five.”

“Tanzania?”

“one hundred and seventy-one.”

I put the pen down and said, “Do you know why I’m obsessed with the numbers for the child mortality rate? It’s not only that I care about children. This measure takes the temperature of a whole society. Like a huge thermometer. Because children are very fragile. There are so many things that can kill them. When only 14 children die out of 1,000 in Malaysia, this means that the other 986 survive. Their parents and their society manage to protect them from all the dangers that could have killed them: germs, starvation, violence, and so on. So this number 14 tells us that most families in Malaysia have enough food, their sewage systems don’t leak into their drinking water, they have good access to primary health care, and mothers can read and write. It doesn’t just tell us about the health of children. It measures the quality of the whole society.

“Just so you know,” I said, “you won’t find any countries where child mortality has increased. Because the world in general is getting better. Let’s have a short cofee break.”

Referência: FACTFULNESS. Ten Reasons We’re Wrong About the World – and Why Things Are Better Than You Think. Parte do resumo disponível em https://www.gatesnotes.com/media/features/books/Factfulness_Excerpt.pdf.  Acesso em 30.05.18.

Indicadores para medir pessoas?

Moça medindo um manequim com fita métrica.

Sempre afirmei que o único indicador de RH que deveria ser medido individualmente é o Absenteísmo. Mas, depois de ler um artigo sobre burnout [1], conclui que acompanhar o número de horas extras realizadas, de forma individual, pode ensejar ações que contribuam para uma melhor gestão, ajudando a prevenir burnout, acidentes e absenteísmo.

Entretanto, é uma medida que deve ser usada com cuidado, no sentido de proteger os trabalhadores de cargas de trabalhos extenuantes, e não de forma policialesca para conseguir “um número bom”. Com esse bom propósito, os valores extremos (empregados com maior volume de horas extras feitas) são mais importantes para a gestão do que a média da equipe, valor usualmente considerado na gestão, e esses elevados volumes de horas trabalhadas devem aparecer nos relatórios.

Outro cuidado a observar é que, muitas vezes, as empresas acompanham apenas o número de horas extras pagas, ignorando aquelas que serão compensadas. Mas, nesse caso, o que vale é considerar as horas efetivamente trabalhadas.

Referência

1 – MacDuff, Kevin. Diagnosing and Preventing Nurse Burnout Using People Analytics, June 5, 2018. Disponível em:

https://www.visier.com/clarity/preventing-nurse-burnout-using-people-analytics/?mkt_tok=eyJpIjoiWlRnd05UTTJOMlUzTURJeiIsInQiOiI1c3pLT1JmNGhNT2JJT3JtRXpORGx0bkU0Ymh6cSt6Q2s5NWRWN21GYU5MSU00M3Irc3QwRjJ3MXk4eG9HamQ5TDlHN1RJQTA0NWJhaUpEaXJqV2ozRWFRTmVDSVNTeFYzcDdYZ0p1WGRnOUlkT2Z5RVwvaEZ3Q0VmcVV1VU1Wc2wifQ%3D%3D Acesso em 6.06.18.

Não vale medir tudo!

Mecânico fazendo manutenção em asa de avião.

Fonte: Free Flight TAM News. p. 34.

A gestão com Indicadores deve ser feita com cuidado, medindo as coisas certas. Uma atividade importante na indústria é a execução dos planos de manutenção de máquinas e equipamentos. Esses planos fazem parte da rotina essencial para a preservação dos ativos e não são programas de melhoria.

Alguns gestores consideram que o Percentual de Atendimento do Plano de Manutenção (realização física) é um indicador. Discordamos. Por ser um trabalho obrigatório, não há espaço para qualquer resultado diferente de 100% e, portanto, não faz sentido monitorar esse percentual. Neste caso, qualquer desvio deve ser tratado como uma “Não Conformidade” e analisado para gerar ações corretivas de modo a evitar que se repita.

Entretanto, um gestor que encontre uma situação ruim pode acompanhar – temporariamente – mês a mês, o Número de Não Conformidades para que possa avaliar seu progresso na organização do trabalho de modo a estabelecer a rotina de manutenção obrigatória. Esse esforço também pode incluir a simplificação das rotinas de manutenção, se bem estudadas e aprovadas pelos especialistas, para facilitar sua execução.

Veja adiante um exemplo de plano de manutenção usado na indústria aeronáutica, publicado na revista da TAM [1]. Como gestor você aceitaria uma realização de 98%?

Você sabia que, a cada pouso, 57 itens do avião são verificados em um tempo que varia de 15 a 20 minutos, no máximo? A inspeção de trânsito, feita por um funcionário qualificado, garante que freios, quantidade de óleo nos motores, combustível e pressão dos pneus, por exemplo, estejam em perfeita ordem quando a aeronave decolar novamente.

Para que cada voo seja tranquilo e seguro, a manutenção é realizada em diversos níveis. A cada 48 horas, no máximo, duas pessoas fazem a chamada inspeção diária – que está em um nível seguinte à de trânsito -, em que são verificados outros 53 itens. Os funcionários levam em geral de três a seis horas para realizar a tarefa, cumprida independentemente de o avião ter voado ou não.

Depois de 600 horas de voo – o equivalente a cerca de cinco semanas – é a vez da manutenção de nível A, em que são checados mais 84 itens. Nessa etapa, 40 pessoas realizam a tarefa em uma noite. Com 18 a 20 meses de operação – ou 6 500 horas de voo – o avião vai para o Centro Tecnológico da TAM, em São Carlos. Lá, 60 pessoas levam cerca de cinco dias para inspecionar mais 210 itens da aeronave.

Referência:

  1. FREE FLIGHT TAM NEWS. 2008. p. 34.

Um indicador melhor que o IDH

Indicadores nos dão uma visão objetiva e consistente do progresso, seja em nossa organização, seja em um país. O trecho adiante, retirado do livro Factfulness, recomendado pelo Bill Gates, mostra como as métricas podem ser úteis. Vale a leitura.

It was October 1995 and little did I know that after my class that evening, I was going to start my lifelong fight against global misconceptions. “What is the child mortality rate in Saudi Arabia? Don’t raise your hands. Just shout it out.” I had handed out copies of tables 1 and 5 from UNICEF’s yearbook. The handouts looked dull, but I was excited.

A choir of students shouted in unison: “thirty-five.”

“Yes. Thirty-five. Correct. This means that 35 children die before their fifth birthday out of every thousand live births. Give me the number now for Malaysia?”

“fourteen,” came the chorus.

As the numbers were thrown back at me, I scribbled them with a green pen onto a plastic film on the overhead projector.

“Fourteen,” I repeated. “Fewer than Saudi Arabia!”

My dyslexia played a little trick on me and I wrote “Malaisya.” The students laughed.

“Brazil?”

“fifty-five.”

“Tanzania?”

“one hundred and seventy-one.”

I put the pen down and said, “Do you know why I’m obsessed with the numbers for the child mortality rate? It’s not only that I care about children. This measure takes the temperature of a whole society. Like a huge thermometer. Because children are very fragile. There are so many things that can kill them. When only 14 children die out of 1,000 in Malaysia, this means that the other 986 survive. Their parents and their society manage to protect them from all the dangers that could have killed them: germs, starvation, violence, and so on. So this number 14 tells us that most families in Malaysia have enough food, their sewage systems don’t leak into their drinking water, they have good access to primary health care, and mothers can read and write. It doesn’t just tell us about the health of children. It measures the quality of the whole society.

“Just so you know,” I said, “you won’t find any countries where child mortality has increased. Because the world in general is getting better. Let’s have a short coffee break.”

Referência: FACTFULNESS: Ten Reasons We’re Wrong About the World – and Why Things Are Better Than You Think. Parte do resumo disponível em https://www.gatesnotes.com/media/features/books/Factfulness_Excerpt.pdf. Acesso em 30.05.18.

The Signal and the Noise – Resumo do livro

The signal and the Noise

Fazendo uso de exemplos fundamentados na política norte-americana, nos jogos de baseball, em projeções econômicas e na probabilidade de ocorrências de terremotos, o autor apresenta os aspectos mais importantes no trabalho de previsão de resultados.

Enquanto as eleições americanas são tema de conhecimento comum, as muitas considerações sobre beisebol – esporte pouco conhecido entre nós – podem ser enfadonhas; o capítulo sobre a bolha do pôquer foi, ao menos para mim, intragável.

Ainda assim, para os curiosos sobre o tema da análise e interpretação de dados, é um livro instigante e interessante. Mas, o foco do autor está nas muitas histórias interessantes e pouco contribui com ferramental para separar os sinais dos ruídos, como por exemplo o Controle Estatístico de Processos CEP, ferramenta apenas citada no texto.

Algumas observações selecionadas:

A verdadeira era da informação começou em 1440, com a invenção da imprensa por Johannes Guttemberg. Antes, uma página de livro manuscrito custava cerca de 20 dólares, limitando o acesso ao conhecimento.

É importante lembrar que os modelos são simplificações da realidade e devem ser usados com cuidado.

Um sinal é uma indicação de uma verdade subjacente por trás de uma estatística ou problema preditivo, enquanto ruídos são padrões aleatórios que podem facilmente ser confundidos com sinais. O sinal é a verdade. O ruído é o que nos distrai da verdade.

O objetivo de qualquer modelo de predição é capturar tantos sinais quanto possível e tão poucos ruídos quanto puder. Armstrong argumenta que “quanto mais complexo o modelo, piores são as previsões”. É uma frase bonita que faria sucesso nas redes sociais, mas que deve ser encarada com algum ressalva.

Na estatística, a confusão de tomar ruídos como sinais é denominada overfitting. Modelos puramente estatísticos, com grande número de variáveis e uma pequena quantidade de eventos para sua validação, geralmente levam ao risco de overfitting. Esse risco é consideravelmente menor quando se usa modelos físicos de causa e efeito.

Segundo o autor, o caminho para maior objetividade é reconhecer a influência que nossas premissas têm em nossas previsões.

A estatística tem sido parte dos esportes desde há muito tempo. O primeiro conjunto de informações – com cinco informações sobre cada jogador – foi publicado em jornal por Henry Chadwick em 1859.

Nosso instinto é categorizar as informações, geralmente em um pequeno número de categorias, pois isso facilita o entendimento.

A inspeção visual de um gráfico que mostra a interação entre duas variáveis geralmente é um caminho mais rápido e confiável para identificar outliers nos dados do que um teste estatístico.

Predizer o passado é um oximoro e obviamente não pode ser contado entre os sucessos.

A estatística é uma das habilidades fundamentais necessárias à ciência dos dados.

Uma previsão científica exige um resultado probabilístico, ou seja, nas previsões é importante informar também a incerteza. Coisa comum nas pesquisas eleitorais, porém rara nos resultados de outras previsões. Laplace via a probabilidade como um meio caminho entre a ignorância e o conhecimento.

A heurística do “acompanhe a maioria, especialmente quando não sabe nada melhor” normalmente funciona bem.

Consenso não é sinônimo de unanimidade, mas um grande acordo obtido após um processo de deliberação. É, portanto, uma alternativa à votação.

Informação só se transforma em conhecimento quando colocada em um contexto.

Fonte:

Silver, Nate. The Signal and the Noise: Why So Many Predictions Fail-But Some Don’t. The Penguin Press. New York, 2012. (Inglês)

Nota: Já está disponível em português.

Medidas absolutas ou relativas?

Como mostrar que um investimento em melhoria foi uma boa decisão? Às vezes o benefício é evidente e não precisamos nos preocupar com maiores análises. Mas, na maioria das situações, os ganhos são marginais e devem ser determinados por meio de medidas que permitam comparar o antes e o depois.

Vamos imaginar que investimos na substituição de lâmpadas convencionais por outras mais modernas, na expectativa que a conta de energia tenha redução, e desejamos avaliar o benefício.  Entretanto, apenas comparar o valor da conta nos dois momentos pode não refletir o ganho; fatores como uma mudança na bandeira tarifária poderiam impactar a análise. Então, melhor que observar os valores monetários, é comparar os consumos em kWh. Isso elimina um ruído e soluciona parte do problema, mas ainda não é suficiente. Podemos estar comparando meses com diferentes quantidade de dias úteis; o consumo de fevereiro usualmente é menor que o de março.

Então, uma boa estratégia de análise é substituir os valores absolutos por indicadores relativos ou específicos. Nesse exemplo poderíamos, ao invés de comparar os consumos totais mensais, comparar os consumos por dia útil ou dia trabalhado em cada um dos meses.

Essa técnica, útil em muitas situações, elimina diversos efeitos que ocorrem ao longo do tempo, permitindo observar as melhorias e identificar tendências com mais facilidade. Em resumo, na gestão devemos evitar o uso de valores absolutos como indicadores, substituindo-os sempre que possível por medidas relativas ou específicas.