Um problema de gestão criado pela tecnologia e, mais grave, não percebido

Imagem por Photo Mix em Pixabay 

Na medida em que a tecnologia facilita e simplifica a coleta de dados, a quantidade de informações entregues aos gestores cresce. Embora muitos administradores sintam-se afogados em um mar de números, outros acreditam que estão seguros e equipados para decidir justamente por contar com muita informação. Provavelmente, ambos estão errados.

No processo de gestão do desempenho, o ponto fraco costuma ser a análise dos dados. Ter informações instantâneas ou online não significa que as decisões serão melhores. Na verdade, muitas vezes a disponibilidade contínua de informações leva às análises mais frequentes e superficiais com óbvios resultados negativos sobre a qualidade das conclusões.

Olhar uma tela de computador que fica pipocando os últimos números da organização é moderno, bacana e impressiona bem. Mas, infelizmente, é uma péssima maneira de se informar. Sem a interpretação contextualizada dos dados em um relatório, dificilmente temos boas decisões.

Um bom relatório de desempenho oferece os seguintes benefícios:

  • Aponta as variações, tendências e relações dos indicadores ao longo do tempo.
  • Chama a atenção para resultados indesejáveis, destacando a distância entre os resultados obtidos e as metas estabelecidas.
  • Documenta os benchmarks.
  • Informa e analisa o contexto e as causas que explicam ou contribuíram para os resultados; esclarece, por exemplo, se o estoque caiu porque a produção foi baixa ou porque as vendas foram elevadas.
  • Recomenda ações preventivas e corretivas.
  • Permite que a gerência possa conhecer as dificuldades das linhas de frente, mesmo não tendo tempo para acompanhar o dia a dia da organização.

Portanto, além de investir em software e hardware, invista em humanware.

O maior problema na comunicação é a ilusão que ela foi efetiva. – George Bernard Shaw

Na análise dos dados, contexto é fundamental

Foto de quebra cabecas em que estea zendo colocada uma peça diferente.

Ao analisar dados devemos levar em conta os números mas, também, o contexto em que eles foram colhidos e as características dos processos e das pessoas que serão impactadas pelo resultado da análise. Devemos buscar uma visão abrangente, incluindo aspectos técnicos, humanos e, por vezes, até políticos. Um alerta sábio sobre os cuidados que devemos ter nas análises foi dado pelo general Donald Rumsfeld.

Existem conhecidos conhecidos. Estas são coisas que sabemos que sabemos. Existem desconhecidos conhecidos. Ou seja, há coisas que sabemos que não sabemos. Mas também há desconhecidos desconhecidos. Coisas que não sabemos que não sabemos. – Donald Rumsfeld

Dois exemplos. Uma rotatividade de 50% em uma equipe de 4 pessoas é diferente do mesmo resultado em um time de 150. Enquanto no primeiro caso uma situação fortuita pode ter definido o resultado, no segundo está bem clara a existência de um problema estrutural.

Quando o repórter da TV, nas tradicionais reportagens de comparação de preço de materiais escolares feitas no início de cada ano letivo, lança a manchete “Materiais escolares têm mais de 200% de diferença de preço entre lojas”, ele não comenta que isso acontece com as borrachas e lápis, que têm um custo unitário muito baixo. Assim, se em um lugar custa R$1,00 e em outro R$2,50, ele aponta a variação de 250%. É claro que isso raramente acontece na mesma proporção em produtos de maior custo.

Portanto, quem analisa dados tem a obrigação de considerar e referenciar o contexto, de modo a apresentar conclusões consistentes e com credibilidade.

Com o Big Data a estatística pode ser ainda mais perigosa

Image by Tumisu from Pixabay

Chris Anderson – famoso pelo seu livro “A Cauda Longa: Do Mercado de Massa para o Mercado de Nicho” – sugeriu que o uso do big data tornaria o método científico obsoleto [1]. Isso provavelmente não é verdade.

É incorreto gerar retrospectivamente hipóteses para se adequar aos padrões de dados que surgem após o término de um estudo. Essa prática é conhecida pelos estatísticos como “p-hacking” ou “data fishing” [2].

O epidemiologista John Ioannidis destacou esse ponto na área médica no artigo “Por que a maioria das descobertas de pesquisas publicadas é falsa” [3].

O argumento de Ioannidis é bem ilustrado pelo artigo “Consumo de chocolate, função cognitiva e ganhadores do Nobel” de Franz Messerli no New England Journal of Medicine [4]. O artigo relata “uma correlação linear significativa (r = 0,791, p <0,0001) entre o consumo de chocolate per capita e o número de ganhadores do Nobel por 10 milhões de pessoas em um total de 23 países. O texto especulou sobre os efeitos de alguns antioxidantes, encontrados no chocolate, na melhoria da capacidade de raciocínio.

O artigo, que pretendia ser uma paródia da temporada de prêmios Nobel, foi seriamente relatado nos principais meios de comunicação como, por exemplo, na Forbes [5]. Embora o artigo seja uma brincadeira, a correlação com elevada “significância estatística” é um fato real do conjunto de dados estudado pelo Dr. Messerli. Isso ilustra que os estudos de múltiplas correlações podem levar a resultados “significativos” em um sentido técnico, como sugerido por Chris Anderson, mas também podem ser enganosos ou sem sentido.

Assim, é interessante notar que a equipe internacional de físicos que anunciou a descoberta do bóson de Higgs, atenta ao problema de múltiplas comparações, usou um limiar extremamente baixo do valor de p “cinco-sigma” (<0,000001) [6].

Referências:

1. Anderson, Chris. The End of Theory: The data deluge makes the scientific method obsolete. Disponível em: http://www.wired.com/science/discoveries/magazine/16-07/pb_theory. Acesso em 18.04.20.

2. Tang, Jane,  Misusing Statistical Significance Tests Can End Your Career: A Cautionary Tale. https://marumatchbox.com/blog/misusing-statistical-significance-tests-can-end-your-career-a-cautionary-tale/ Acesso em 18.04.20.

3. Ioannidis, John. Why Most Published Research Findings Are False. 2005. Disponível em http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/. Acesso em 17.04.20.

4. Messerl. Franz H. i, Chocolate Consumption, Cognitive Function, and Nobel Laureates. The New England Journal of Medicine. 18.10.12. Disponível em http://www.nejm.org/doi/full/10.1056/NEJMon1211064. Acesso em 17.04.20.

5. Husten, Larry. Chocolate And Nobel Prizes Linked In Study. Disponível em: https://www.forbes.com/sites/larryhusten/2012/10/10/chocolate-and-nobel-prizes-linked-in-study/#33a8e4c91dd1 Acesso em 18.04.20.

6. Wasserman, Larry. The Higgs Boson and the p-value Police. Disponível em: http://normaldeviate.wordpress.com/2012/07/11/the-higgs-boson-and-the-p-value-police/. Acesso em 28.07.20.

Nudge: Improving Decisions About Health, Wealth, and Happiness.

Nudge: Improving Decisions About Health, Wealth, and Happiness.

Crítica do livro

Escrito por Richard H. Thaler, ganhador do Prêmio Nobel de Economia e Cass R. Sunstein, laureado pelo governo da Noruega pelo uso prático dos conhecimentos acadêmicos, o livro descreve como pequenos cuidados no design das alternativas oferecidas às pessoas podem contribuir para melhores decisões, com ganhos para todos e sem interferência na liberdade individual das pessoas.

Os autores justificam essas ações, ou “nudges”, porque questionam a capacidade das pessoas de fazer boas escolhas, ainda que no interesse delas próprias. Citam que em muitos casos as decisões acabam sendo tomadas pelas pessoas que estruturam os processos, os chamados “arquitetos das decisões“. Isso ocorre, por exemplo, quando são definidos os “defaults”, ou as opções que serão automaticamente adotadas se não forem informadas ou selecionadas outras. Afinal, poucas pessoas se dão ao trabalho de fazer personalizações e ajustes para sua situação particular, seja em um software, seja em um contrato.

Em alguns trechos, como quando discute opções para bolsas de estudos e planos de previdência, o texto fica chato. Mas, no geral, tem exemplos interessantes e agradáveis.

É uma boa leitura para executivos, jornalistas, designers, curiosos e para quem deseja se aprimorar na capacidade de analisar criticamente as situações ou tomar melhores decisões. Deveria ser leitura obrigatória para todo legislador.

Fonte

Thaler, Richard H. e Sunstein, Cass R. Nudge: Improving Decisions About Health, Wealth, and Happiness. Penguin Books. USA. 2009.

Um análise curiosa

O exemplo mais curioso que vi sobre inversão entre causa e efeito é apresentado no clássico “Lie with Statistics” [1]. Os indígenas de Vanuatu observaram, ao longo dos séculos, que as pessoas saudáveis tinham piolhos, enquanto os doentes muitas vezes não.

Então, com base nas evidências e alguma lógica, concluíram que os piolhos tornam um homem saudável e todo mundo deveria tê-los.

Já nós, à luz de nosso conhecimento ocidental, acreditamos que, quando as pessoas ficam doentes, os piolhos caem fora.

Referência: 1. Huff, Darrel. How to Lie with Statistics. W. W. Norton & Company Inc. New York, 1954. p. 98.

Dá para confiar nas avaliações dos internautas?

Pedro Dória*

Reproduzo adiante um excelente texto do ótimo Pedro Dória, jornalista e escritor, que chama a atenção para a forma tendenciosa de algumas pesquisas, com reflexos nas nossas decisões de compra. Boa leitura!

Os números são uma desgraça: nos EUA, a nota média dos vídeos do YouTube é 4,6. Em um máximo de 5. Segundo o serviço Bazaarvoice, que fornece sistemas para 600 sites de comércio eletrônico, a nota média para os produtos vendidos é 4,3. Na Amazon, maior loja da web, idem. Há duas possibilidades. Ou a qualidade dos produtos vendidos na web é tão estupenda quanto a dos vídeos distribuídos pelo YouTube ou, o que é bem mais provável, as pessoas são generosas demais na avaliação que fazem quando estão em rede.

O mérito da descoberta é de uma equipe de pesquisadores da Universidade de Toronto e quem pinçou o obscuro relatório foram Geoffrey Fowler e Joseph de Ávila, repórteres do Wall Street Journal.

Algumas razões explicam o fenômeno. O que faz alguém, por exemplo, sugerir que determinada marca produz o melhor papel de impressão? Ou a melhor ração de cachorro? Intuitivamente, nós todos compreendemos o que se passa. A culpa é daqueles que dizem entender do assunto. Quem compra equipamento e gosta de achar que sabe fazer recomendações não vai dizer que escolhe algo ruim.

O voto não é no produto. É um voto em si mesmo. “Eu entendo de impressão de fotos e o papel que compro só pode ser o melhor que há.”

Vale para lâmina de barbear ou player de DVD. 0 problema, evidentemente, é que o fenômeno põe em xeque a credibilidade dos sistemas de recomendação em sites de comércio. É possível confiar em resenhas de filmes, de livros. mas são poucos os produtos assim. O melhor CD gravável, quem realmente pode dizer qual o melhor?

Discretamente, a eBay, maior empresa de leilões virtuais, está avaliando vendedores não mais pela nota e sim pelo número de notas 1 e 2 que recebem. Elas são indicadores reais da qualidade. Muitos votos negativos dão mostras de que o sujeito não anda entregando o que deve. Os números são uma desgraça mas ninguém os percebe. Nos EUA, segundo a Nielsen, 72% afirmam confiar em resenhas online.

Enquanto isso, a amostra vicia. A ração de cachorro que recebe mais votos positivos é a que mais vende e, por consequência, é a que receberá ainda mais cinco estrelas a caminho da liderança eterna.

Ração canina e papel de impressora, diga-se, não estão aqui por mero acaso. São os dois produtos mais resenhados na internet americana. Sabe-se lá por quê.

* – Pedro Doria é jornalista. Seus livros tratam de história. “Tenentes, A Guerra Civil Brasileira”, narra como se fosse um thriller os acontecimentos que levaram ao fim da República Velha, na década de 1920, e mostra o surgimento da geração de militares que tomou o poder em 1964. 1565 conta a invenção do sudeste brasileiro e, 1789, a verdadeira história da Inconfidência. Pedro também escreve sobre o impacto da tecnologia, no Globo e no Estado de S. Paulo, além de comentar sobre o tema na CBN. pedro.doria@grupoestado.com.br

Este texto é uma reprodução do jornal Estado de São Paulo. 26.10.09. p. L6, autorizada pelo autor.

How to lie with statistics

Capa do livro.

Este livro é um clássico e, por ser muito citado, há tempos queria ler.

Na verdade, esperava um livro bastante técnico, mas fui surpreendido com um texto leve e com histórias interessantes.

Em sua defesa para a publicação das formas como a estatística é usada para distorcer as informações, o autor afirma que os bandidos já conhecem esses truques; pessoas honestas devem aprendê-las em legítima defesa.

O texto critica fortemente a qualidade das amostras usadas nas pesquisas de opinião.

Além de interessante, o livro é útil para despertar o senso crítico tanto de analistas de dados quanto do cidadão comum que se informa por meio da leitura e da televisão. Veja, adiante, algumas considerações do autor:

  • O uso de figuras, em substituição às barras, no clássico gráfico de barras, distorce a informação, pois mesmo quando a altura é proporcional às das barras, quase sempre cria uma percepção diferente, devido à noção que temos das áreas e dos volumes das figuras.
  • Existem muitas maneiras de expressar qualquer resultado. Você pode, por exemplo, expressar exatamente o mesmo fato, chamando-o de um retorno de vendas de um por cento, um retorno de investimento de quinze por cento, um lucro de dez milhões de dólares, um aumento de lucros de quarenta por cento (comparativamente à média de 1935-39), ou uma diminuição de sessenta por cento em relação ao ano anterior.  O truque é escolher o que soa melhor para o objetivo em questão e confiar que poucos que o lerem reconhecerão o quão imperfeitamente reflete a situação.
  • Um tipo comum de correlação é aquele em que a relação é real, mas não é possível ter certeza de qual das variáveis ​​é a causa e qual o efeito.  Em alguns desses casos, causa e efeito podem mudar de lugar de tempos em tempos. Ou, de fato, ambos podem ser causa e efeito ao mesmo tempo.  Uma correlação entre renda e propriedade de ações pode ser desse tipo.
  • Permitir que o tratamento estatístico e a presença hipnótica de números e pontos decimais seja incompreensível para as relações causais é pouco melhor que a superstição. E muitas vezes é mais seriamente enganador. É como a convicção entre o povo de Vanuatu que o piolho no corpo produz boa saúde. A observação ao longo dos séculos ensinou-lhes que as pessoas de boa saúde geralmente tinham piolhos, enquanto os doentes muitas vezes não. A observação em si foi precisa e correta, pois ocorreram ao longo de muitos anos. Daí a conclusão a que essas pessoas primitivas tiraram de suas evidências: os piolhos tornam um homem saudável. Todo mundo deveria tê-los.

Nota; O e-book está disponível para download gratuito na Internet.

O livro

Huff, Darrel. How to Lie with Statistics. W. W. Norton & Company Inc. New York, 1954.