Arquivo da tag: análise de dados

Visual Explanations: Images and Quantities, Evidence and Narrative

Publicado em por
Responder

Comentários sobre o livro

Edward Tufte é um estatístico famoso pelas técnicas para apresentação de dados e informações, tendo muitas publicações sobre o tema. Neste livro ele descreve estratégias para representar movimentos, processos, mecanismos e relações de causa e efeito.

Ele mostra a evolução das representações gráficas ao longo da história e, inclusive, o provável primeiro gráfico com representação estatística de distâncias, além de diversas outras curiosidades.

Tufte enfatiza que más apresentações gráficas são um problema ético. Isso não significa que ele exija realidade nas imagens, mas que qualquer distorção deve ser informada com o devido destaque. Aliás, ele até apresenta a distorção de escalas como um mecanismo válido para a análise de dados.

Para exemplificar, ele apresenta em detalhes as análises que levaram a identificar a fonte da cólera em Londres em 1854 e o acidente com o ônibus espacial Challenger, que já havia explorado no livro Beautiful Evidence. Naquela publicação, ele fez uma análise das causas básicas do acidente que provocou a explosão do ônibus espacial, matando 11 pessoas e trazendo um prejuízo enorme à reputação da NASA. Ainda comenta as diferentes visões e explicações dos administradores, psicólogos e engenheiros que tentaram explicar os fatos que levaram à catástrofe.

Destaca, ainda, que embora a sequência temporal seja a mais adequada para analisar as tendências, não é uma boa prática para a análise de relações entre variáveis. Tufte exemplifica brilhantemente essa questão com a discussão sobre um gráfico usado para investigar o acidente com a Challenger, em que os dados, plotados na sequência histórica, dificulta perceber a relação entre temperatura e falhas dos anéis de borracha (o-rings) para vedação. São exemplos interessantes que contribuem para aumentar o espírito crítico do leitor.

Alguns destaques do texto:

  • Ausência de evidência não é evidência de ausência.
  • Criar ilusões ou mágicas é engajar-se no design da desinformação, corromper a conexão óptica, enganar o público.  Assim, as estratégias da magia determinam o que não fazer se seu objetivo é revelar a verdade, e não criar ilusões.
  • Como mágicos, quem faz os gráficos revela o que deseja revelar.
  • A lógica dos gráficos deve seguir a lógica da análise.
  • Gráficos ruins indicam estupidez estatística, assim como uma escrita pobre geralmente reflete pensamentos pobres.
  • Raciocinando sobre causalidade, variações na causa devem ser explicita e mensuravelmente ligadas às variações no efeito.
  • Faça todas as distinções visuais tão discretas quanto possível, mas claras e efetivas. Quando tudo é enfatizado, nada é enfatizado.
  • Nos gráficos, um arco-íris de cores confunde o que acontece com as cores com o que acontece com os dados.

Se uma imagem ṇo vale mais que mil palavras, enṭo ṇo vale nada. РAd Reinhardt

O livro

Tufte, Edward Rolf. Visual Explanations: Images and Quantities, Evidence and Narrative. Graphics Press, Connecticut, June, 2005.

Serviço: Este livro é uma leitura útil para quem tem a responsabilidade de gerar gráficos e interpretar informações,

Ordem das questões em uma pesquisa

Publicado em por
Responder
Imagem por Artjane em Pixabay.

As cédulas eleitorais em papel têm, necessariamente, que listar os candidatos em alguma ordem. É sabido que os candidatos se beneficiam de serem listados primeiro. Um estudo descobriu que um candidato cujo nome é listado primeiro ganha cerca de 3,5 pontos percentuais na votação [1].

O efeito é menor quando os candidatos são bem conhecidos, como nas eleições presidenciais, mas quando os candidatos têm pouco reconhecimento de nome ou pouca cobertura da mídia (como na maioria das eleições locais), o efeito pode ser ainda maior.

O  mesmo acontece nas pesquisas de satisfação realizadas junto aos clientes e aos colaboradores. Então, é preciso ter muito cuidado para evitar distorções. Se a ordem das questões no questionário da pesquisa pode alterar a conclusão que interessa ao cliente, ou aos usuários dos resultados, temos as seguintes alternativas:

A. Fazer a pesquisa com vários questionários, em que a ordem das perguntas é alterada. Em sistemas informatizados isso é fácil.

B. Tomar o cuidado de só analisar variações em relação a levantamentos anteriores, em que a ordem das questões era a mesma.

Referência:

1. Koppell, Jonathan G. S., and Jennifer A. Steen. The Effects of Ballot Position on Election Outcomes. Journal of Politics 66 (2004): 267-81. Citado em Thaler, Richard H. e Sunstein, Cass R. Nudge: Improving Decisions About Health, Wealth, and Happiness. Penguin Books. USA. 2009. p. 249.

Indicadores de desempenho que orientam ações erradas

Publicado em por
Responder
Imagem por Steve Buissinne from Pixabay

“As empresas com os melhores desempenho não registram perda de produção por departamento, como mecânica, elétrica, instrumentação ou operações. Eles veem isso como uma perda de tempo que não promove parceria. Em vez disso, eles selecionam quais problemas resolver e resolvem esses problemas. As empresas com os melhores desempenhos medem a confiabilidade total como uma medida conjunta de desempenho e não a confiabilidade por departamento. Aquelas empresas com os melhores desempenhos não medem o “tempo ocupado” ou “o tempo de ferramenta (wrench time)” do pessoal. Elas entendem que pessoas ocupadas não são sempre produtivas; na área de manutenção, as pessoas ocupadas trabalham duro durante uma falha ou quebra de equipamento e menos quando não há interrupções. Não ter falhas é uma situação mais desejável. Medir o tempo de ferramenta também é uma abordagem muito desatualizada e negativa para as pessoas. Em vez disso, as melhores empresas medem a eficiência do processo em que as pessoas trabalham. Se a manutenção preventiva, o planejamento e o agendamento do trabalho forem bem feitos, as pessoas ficarão menos ocupadas “trabalhando” e mais envolvidas com trabalho de maior valor agregado que nem sempre é visível, como eliminação de causa raiz, precisão do planejamento de trabalhos repetitivos, solução dos gargalos, etc.” – Christer Idhammar (IDCON vice-president)

Apesar das considerações válidas do Idhammar, a situação pode ser diferente se desejamos medir a produtividade dos trabalhadores nas Paradas Gerais (equipes de manutenção e obras). A Aracruz – unidade da Fíbria,  líder mundial na produção de celulose de eucalipto – utiliza uma estratégia chamada Worksampling [2]. Durante o horário de trabalho, auditores circulam pelas áreas, identificando quantos profissionais estão trabalhando, circulando ou parados, por empresa. O resultado é utilizado nas negociações de contratação, otimizando recursos e melhorando o planejamento. Com base nas estatísticas mostradas pela técnica, a Aracruz é benchmarking em produtividade em Paradas Gerais.

Referências:

1. RISI. Pulp & Paper International, Dec. 2009. p. 15.

2. Fonte: Aracruz em revista. Ano 16 – nº 184, julho de 2008. Recorde na PG, p. 4.

Ou veja no LinkedIn: https://www.linkedin.com/pulse/indicadores-de-desempenho-que-orientam-ações-erradas-dórian-bachmann

Beautiful Evidence – Comentários sobre o livro

Publicado em por
Responder
Capa do livro Beautiful Evidence

Edward Tufte é um estatístico famoso pelos trabalhos relacionados à visualização dos dados. Neste livro, de 2006, ele analisa alguns documentos, mapas, fotos, obras de arte, livros antigos – um de Galileu e outro de Newton – e até manuais policiais e relatórios de investigação de acidentes da NASA, em relação à capacidade de comunicar informações, tomando por base os Princípios do Design Analítico.

Os Princípios do Design Analítico são:

  1. Mostre comparações, contrastes e diferenças.
  2. Causas, mecanismos, estruturas e explicações.
  3. Análise multivariada.
  4. Completa integração de palavras, números, imagens e diagramas. As tabelas com números devem estar integradas ao corpo do relatório e não colocadas com anexos. Tabelas, gráficos e imagens devem estar acompanhados de textos explicativos.
  5. Documentação. Inclui as informações de autor, fontes dos dados, escalas, etc. que dão credibilidade às informações apresentadas. Ele recomenda que os trabalhos, ou as partes deles, tenham os autores identificados; não são empresas ou departamentos que produzem as coisas. Os créditos dão responsabilidade e facilitam os esclarecimentos.
  6. O mais importante é a qualidade, relevância e integridade do conteúdo. Para atender esse requisito devemos responder quais são as tarefas de raciocínio que o conteúdo se propõe a ajudar

Ele mostra exemplos de situações em que uma mesma imagem é repetida em diversas páginas de um livro, para que o leitor tenha acesso ao texto e a imagem ao mesmo tempo, facilitando o entendimento. Uma prática que ele recomenda.

Ele enfatiza que “rótulos” são dados e, portanto, podem ser úteis na área de dados de um gráfico ou figura. Mas, para evitar que a poluição atrapalhe a observação dos pontos ou das curvas de dados, pode-se destacar os pontos ou a curva com uma cor mais chamativa. Uma técnica bem sucedida nos mapas cartográficos.

Ele brinca que, ao consumirmos informações, devemos manter a mente aberta, mas não uma cabeça vazia. Também dedica um capítulo inteiro às apresentações, mostrando as inconveniências dos slides e oferecendo orientações. Ele enfatiza que apresentações Power Point não devem substituir relatórios técnicos convencionais, onde as relações de causa e efeito e as explicações são mais claras.

Os estudos controlados são prospectivos: uma possível rejeição causa-efeito é identificada, uma intervenção feita, resultados futuros observados. Em contraste, as evidências de muitos fenômenos – clima, política, geologia, economia, história da arte, negócios – vêm em grande parte de observações retrospectivas e não experimentais. Em tais estudos posteriores, pesquisadores e apresentadores têm muitas oportunidades de decidir o que conta como evidência relevante, que também são oportunidades excelentes para escolher a dedo o que é conveniente.

Listas apresentam apenas três relações lógicas:

  • Temporal (primeira, segunda, etc.)
  • Importância (mais importante, segunda mais importante, etc.)
  • Itens relacionados de algum modo; mas não especifica como.

As análises de indicadores estão, de algum modo, associadas às relações de causa e efeito.

Os princípios do design analítico derivam dos princípios do pensamento analítico. – Edward Tufte

O livro

Tufte, Edward R. Beautiful Evidence. Graphic Press LLC. USA. 2006.

Com o Big Data a estatística pode ser ainda mais perigosa

Publicado em por
Responder
Image by Tumisu from Pixabay

Chris Anderson – famoso pelo seu livro “A Cauda Longa: Do Mercado de Massa para o Mercado de Nicho” – sugeriu que o uso do big data tornaria o método científico obsoleto [1]. Isso provavelmente não é verdade.

É incorreto gerar retrospectivamente hipóteses para se adequar aos padrões de dados que surgem após o término de um estudo. Essa prática é conhecida pelos estatísticos como “p-hacking” ou “data fishing” [2].

O epidemiologista John Ioannidis destacou esse ponto na área médica no artigo “Por que a maioria das descobertas de pesquisas publicadas é falsa” [3].

O argumento de Ioannidis é bem ilustrado pelo artigo “Consumo de chocolate, função cognitiva e ganhadores do Nobel” de Franz Messerli no New England Journal of Medicine [4]. O artigo relata “uma correlação linear significativa (r = 0,791, p <0,0001) entre o consumo de chocolate per capita e o número de ganhadores do Nobel por 10 milhões de pessoas em um total de 23 países. O texto especulou sobre os efeitos de alguns antioxidantes, encontrados no chocolate, na melhoria da capacidade de raciocínio.

O artigo, que pretendia ser uma paródia da temporada de prêmios Nobel, foi seriamente relatado nos principais meios de comunicação como, por exemplo, na Forbes [5]. Embora o artigo seja uma brincadeira, a correlação com elevada “significância estatística” é um fato real do conjunto de dados estudado pelo Dr. Messerli. Isso ilustra que os estudos de múltiplas correlações podem levar a resultados “significativos” em um sentido técnico, como sugerido por Chris Anderson, mas também podem ser enganosos ou sem sentido.

Assim, é interessante notar que a equipe internacional de físicos que anunciou a descoberta do bóson de Higgs, atenta ao problema de múltiplas comparações, usou um limiar extremamente baixo do valor de p “cinco-sigma” (<0,000001) [6].

Referências:

1. Anderson, Chris. The End of Theory: The data deluge makes the scientific method obsolete. Disponível em: http://www.wired.com/science/discoveries/magazine/16-07/pb_theory. Acesso em 18.04.20.

2. Tang, Jane,  Misusing Statistical Significance Tests Can End Your Career: A Cautionary Tale. https://marumatchbox.com/blog/misusing-statistical-significance-tests-can-end-your-career-a-cautionary-tale/ Acesso em 18.04.20.

3. Ioannidis, John. Why Most Published Research Findings Are False. 2005. Disponível em http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/. Acesso em 17.04.20.

4. Messerl. Franz H. i, Chocolate Consumption, Cognitive Function, and Nobel Laureates. The New England Journal of Medicine. 18.10.12. Disponível em http://www.nejm.org/doi/full/10.1056/NEJMon1211064. Acesso em 17.04.20.

5. Husten, Larry. Chocolate And Nobel Prizes Linked In Study. Disponível em: https://www.forbes.com/sites/larryhusten/2012/10/10/chocolate-and-nobel-prizes-linked-in-study/#33a8e4c91dd1 Acesso em 18.04.20.

6. Wasserman, Larry. The Higgs Boson and the p-value Police. Disponível em: http://normaldeviate.wordpress.com/2012/07/11/the-higgs-boson-and-the-p-value-police/. Acesso em 28.07.20.

Head First – Data analysis

Publicado em por
Responder

Comentários sobre o livro

É quase um texto didático que aborda a análise de dados e apresenta diversas ferramentas para tornar essa atividade mais prática e eficaz, destacando os princípios fundamentais do trabalho:

  • Mostrar comparações, contrastes e diferenças.
  • Mostrar causalidade, mecanismo, explicações e estrutura sistemática.
  • Mostrar dados multivariados; ou seja, mais de uma ou duas variáveis.
  • Integrar completamente palavras, números, imagens e diagramas.
  • Descrever minuciosamente as evidências.

O texto oferece dicas sobre o uso do Excel e, também (Capítulo 9) uma introdução prática e simples ao software estatístico R, disponível gratuitamente na Internet e um dos mais usados para a análise de dados. O capítulo sobre erros é especialmente útil e didático.

Seguem alguns conceitos apresentados no livro:

  • A visualização dos dados objetiva, na maioria das vezes, facilitar comparações.
  • Como regra geral, o eixo horizontal do gráfico de dispersão representa a variável independente (a variável que imaginamos ser uma causa), e o eixo vertical a variável dependente (que imaginamos ser o efeito).
  • Uma maneira de tornar a visualização multivariada (isto é, com mais de duas variáveis) é colocar vários gráficos de dispersão de duas variáveis próximos uns dos outros, para facilitar a comparação visual.
  • Um aspecto importante da análise de dados é sua consolidação resumida por meio de médias, medianas, etc., com foco no que é importante saber para monitorar ou melhorar o processo.
  • A regressão é uma ferramenta estatística incrivelmente poderosa que, quando usada corretamente, tem a capacidade de ajudar a prever determinados valores.  Quando usada em um experimento controlado, a regressão pode realmente ajudar a prever o futuro.
  • A extrapolação é diferente da interpolação, na qual você está prevendo pontos dentro do seu intervalo de dados e para a qual a regressão é projetada. A interpolação é boa, mas você deve desconfiar da extrapolação.
  • A divisão de dados em grupos é chamada de segmentação, e é útil para usar diferentes modelos preditivos para os subgrupos, resultando em menos erros em todos os modelos.
  • O segredo sujo da análise de dados é que, como analista, você pode gastar mais tempo limpando os dados do que analisando-os.

O livro:

Milton, Michael. Head First: Data Analysis. O’Reilly Media, USA. 2009. ISBN: 978-0-596-15393-9. (em inglês) – Disponível em português: “Use a Cabeça! Análise de Dados”, pela Alta Books.

How to lie with statistics

Publicado em por
Responder
Capa do livro.

Este livro é um clássico e, por ser muito citado, há tempos queria ler.

Na verdade, esperava um livro bastante técnico, mas fui surpreendido com um texto leve e com histórias interessantes.

Em sua defesa para a publicação das formas como a estatística é usada para distorcer as informações, o autor afirma que os bandidos já conhecem esses truques; pessoas honestas devem aprendê-las em legítima defesa.

O texto critica fortemente a qualidade das amostras usadas nas pesquisas de opinião.

Além de interessante, o livro é útil para despertar o senso crítico tanto de analistas de dados quanto do cidadão comum que se informa por meio da leitura e da televisão. Veja, adiante, algumas considerações do autor:

  • O uso de figuras, em substituição às barras, no clássico gráfico de barras, distorce a informação, pois mesmo quando a altura é proporcional às das barras, quase sempre cria uma percepção diferente, devido à noção que temos das áreas e dos volumes das figuras.
  • Existem muitas maneiras de expressar qualquer resultado. Você pode, por exemplo, expressar exatamente o mesmo fato, chamando-o de um retorno de vendas de um por cento, um retorno de investimento de quinze por cento, um lucro de dez milhões de dólares, um aumento de lucros de quarenta por cento (comparativamente à média de 1935-39), ou uma diminuição de sessenta por cento em relação ao ano anterior.  O truque é escolher o que soa melhor para o objetivo em questão e confiar que poucos que o lerem reconhecerão o quão imperfeitamente reflete a situação.
  • Um tipo comum de correlação é aquele em que a relação é real, mas não é possível ter certeza de qual das variáveis ​​é a causa e qual o efeito.  Em alguns desses casos, causa e efeito podem mudar de lugar de tempos em tempos. Ou, de fato, ambos podem ser causa e efeito ao mesmo tempo.  Uma correlação entre renda e propriedade de ações pode ser desse tipo.
  • Permitir que o tratamento estatístico e a presença hipnótica de números e pontos decimais seja incompreensível para as relações causais é pouco melhor que a superstição. E muitas vezes é mais seriamente enganador. É como a convicção entre o povo de Vanuatu que o piolho no corpo produz boa saúde. A observação ao longo dos séculos ensinou-lhes que as pessoas de boa saúde geralmente tinham piolhos, enquanto os doentes muitas vezes não. A observação em si foi precisa e correta, pois ocorreram ao longo de muitos anos. Daí a conclusão a que essas pessoas primitivas tiraram de suas evidências: os piolhos tornam um homem saudável. Todo mundo deveria tê-los.

Nota; O e-book está disponível para download gratuito na Internet.

O livro

Huff, Darrel. How to Lie with Statistics. W. W. Norton & Company Inc. New York, 1954.

Causa ou efeito?

Publicado em por
Responder

Alguns autores, como Maram Marimuthu et alii [1] identificaram uma correlação positiva entre o desempenho das organizações e o investimento em capital humano, incluindo as ações de treinamento.

A conclusão óbvia trazida pelo texto é que vale a pena treinar. Mas, sendo isento na análise, temos que concluir que, ainda que os fatos estejam relacionados, não temos segurança para afirmar o que é causa e o que é efeito. Afinal, também é possível acreditar que organizações com negócios mais favoráveis e lucrativos tenham mais recursos para investir em treinamento.

Uma análise semelhante foi apresentada por Sara Kaplan [2] ao afirmar “Verifiquei se as pesquisas científicas realmente corroboram a ideia de que diversidade traz melhor desempenho e minha conclusão é que não há necessariamente uma relação de causa e efeito. É bem possível que diversidade e performance sejam dois aspectos de ‘ser uma ótima empresa’”.

Então, na análise de dados, sempre que temos resultados que se correlacionam, devemos ser bastante críticos em tentar saber o que é causa, o que é efeito ou, ainda o que é apenas consequência de algum terceiro motivo ou coincidência.

Referências:

  1. Marimuthu, M., Arokiasamy, L. and Ismail, M. Human Capital Development and Its Impact on Firm Performance: Evidence From Developmental Economics. Uluslararası Sosyal Arastırmalar Dergisi. The Journal of International Social Research. Volume 2 / 8 Summer 2009. pp. 265 – 272. Disponível em: http://www.sosyalarastirmalar.com/cilt2/sayi8pdf/marimuthu_arokiasamy_ismail.pdf. Acesso em 20.06.19
  2. Revista HSM. Vamos inovar em diversidade de gênero? Dez 4, 2017.

Uma análise deficiente

Publicado em por
Responder

Ultimamente temos vistos muitas análises sobre a disseminação e até mesmo sobre a letalidade do Coronavirus baseadas na evolução nos casos confirmados da doença (gráfico).

Gráfico: Evolução nos casos confirmados da doença

Fonte: Olhar Digital. Disponível em: https://olhardigital.com.br/coronavirus/noticia/china-diz-ter-desenvolvido-nanomaterial-que-desativa-novo-coronavirus/98781. Acesso em 4.4.20.

Em uma análise superficial, podemos concluir que de 30 de março (323 casos) para 31 de março (1138 casos) houve um crescimento de 352% no número de infectados. Esses números têm sido usados, inclusive, para fazer projeções. Mas, como a observação dos resultados dos dias seguintes confirma, o novo patamar se deve ao maior número de exames diários que passou a ser realizado.

Esse é um exemplo típico de análise feita sem avaliar corretamente as características ou fonte dos dados usados.  Sabemos que o número de exames é pequeno perto da possível população infectada e, portanto, o número de casos confirmados tem pouca utilidade.

Uma informação potencialmente mais útil, embora ainda falha devido à baixa representatividade, seria o percentual de pessoas testadas que tiveram resultado positivo. Curiosamente, esse indicador não é divulgado.

Seja criterioso. Cuide da saúde e também da qualidade das análises.

Serviço: A página da Olhar Digital em: https://olhardigital.com.br/coronavirus/noticia/china-diz-ter-desenvolvido-nanomaterial-que-desativa-novo-coronavirus/98781 é informativa e atualizada diariamente. Uma boa referência.

Pode-se confiar nas pesquisas de satisfação?

Publicado em por
Responder

Nas pesquisas de satisfação, independentemente de quão claras as instruções possam ser, as pessoas irão interpretá-las ou despreza-las acidentalmente. Os cientistas categorizam isso como erros de resposta. Em média, 6% a 20% de todas as pesquisas concluídas pelos clientes contêm erros de resposta. É um fato inevitável da realização de um programa de pesquisa válido.

Além disso, aumentar o tamanho da amostra não elimina o problema, mas traz erros ainda maiores. Portanto, você deve corrigir esses erros usando uma abordagem sistemática e consistente para fornecer a máxima integridade, precisão e imparcialidade para criar relatórios a partir de pesquisas.

Reproduzido de: Rembach, Jim. Survey Calibration Improves Employee Buy-in. Disponível em  http://metrics.net/what-is-survey-calibration/. Acesso em out. 2012.