Caracterizando a qualidade dos dados

Ao analisar um relatório de gestão é conveniente conhecer a qualidade dos dados usados em seu preparo. Uma abordagem estruturada para documentar o nível de qualidade dos dados na indústria, adotada pelo Programa Canadense de Conservação de Energia [1], usa a seguinte escala:

A – Instrumentação confiável e com boa calibração.

B – Instrumentação menos confiável.

C – Calculado por balanço material e térmico a partir de valores medidos.

D – Estimado, devido à falta de medida.

Referência:

1. Canadian Industry Program for Energy Conservation, Benchmarking Energy Use in Canadian Pulp and Paper Mills, Canadá, 2008.

Outros posts sugeridos

  • Qualidade dos dados. Isso é um problema?
  • Números significativos

POST211008 de 22.04024

Relatórios de Gestão

Duas páginas de um relatório empresarial com gráficos e textos.

Relatórios de desempenho e dashboards são essenciais para facilitar análises, comunicar prioridades e apontar problemas, resultando em uma gestão mais eficaz.

O relatório de gestão não deve ser uma referência para a melhora dos resultados dos indicadores, mas para a melhoria dos processos correspondentes, contribuindo para o sucesso da organização. Os indicadores são, apenas, uma forma prática e objetiva de olhar os processos e avaliar os efeitos das ações.

Antes de iniciar o design de um relatório ou dashboard é preciso um trabalho cuidadoso para selecionar os indicadores e as demais informações que deverão estar presentes. Informações desnecessárias tiram o foco e prejudicam as análises e decisões.

A apresentação dos resultados dos indicadores e as informações contextuais devem levar em conta as características dos usuários e os aspectos que afetam a percepção das pessoas. Isso inclui o tamanho e a linguagem dos textos, o formato das tabelas, os tipos de gráficos e até as cores usadas.

Dica: Comece os relatórios usando Word e Excel. Isso dá maior flexibilidade para as mudanças que são frequentes durante o aprendizado inicial.

Um bom relatório de gestão reporta o desempenho dos processos ou do negócio de forma transparente, consistente e tempestiva. — dlb

Post de fevereiro/24

Indicadores agregados

Imagem: Snowmass Village é uma cidade localizada no estado americano de Colorado. É famosa, entre outras razões, pela icônica placa na entrada da cidade. A placa original é de 1970 Fonte da foto: https://www.aspensojo.com/producers/courtesy-town-of-snowmass-village

Indicadores agregados são os que resultam da combinação de diversos indicadores, cada qual com o seu grau de importância, peso ou representatividade. Mostram, sinteticamente, um conjunto de aspectos. Mas isso é bom?

Indicadores agregados, ou compostos, são aqueles que agrupam vários resultados em um único número. Nem é necessário afirmar que a composição deve ser lógica, respeitando as unidades de medida dos diferentes fatores ou parcelas.

Mas esses indicadores devem ser analisados com cuidado. Ainda que o resultado seja bom, é possível que o desempenho de algum ou alguns de seus “componentes” não seja e possa representar uma oportunidade de melhoria.

Um exemplo é o Índice de Desenvolvimento Humano (IDH), obtido pela média aritmética dos indicadores de educação, longevidade e renda da população. O IDH, assim como as três métricas que o compõe, varia de zero a 1, sendo 1 o melhor resultado. Logo, embora útil para comparações gerais, o indicador precisa ser desdobrado em seus componentes para um diagnóstico mais preciso, visando estabelecer as políticas públicas para a melhoria.

Outro indicador agregado muito comum é o Overall Equipment Effectiveness (OEE) [1], usado para avaliar a eficiência no ambiente industrial. A métrica resulta da multiplicação de três indicadores mais focados: a Disponibilidade dos equipamentos para produção, a Qualidade do que é produzido e a Produtividade. Um resultado de 85% é considerado de classe mundial [Hansen]. Mas, mesmo quando esse percentual é alcançado, é possível que algum dos fatores ainda tenha espaço para aprimoramento. Mas, qual?

O mais grave é que, às vezes, temos indicadores agregados disfarçados. Nem sabemos que temos. Um exemplo ocorre em uma fábrica de joias em que a produtividade é medida em peças por hora. Como o tempo para fabricar anéis, brincos e gargantilhas é diferente, essa métrica é inadequada para a gestão, pois não informa onde está a ineficiência. Melhor seria ter a produtividade por tipo de produto.

Fenômeno semelhante ocorre em um call center que funciona 24 horas por dia. O usuários dos turnos do dia, da noite e da madrugada são, por natureza, diferentes e, para máxima satisfação, exigem protocolos diferentes. Durante o dia as pessoas querem um atendimento rápido e objetivo. Na madrugada, as pessoas têm mais tempo e até desejo de conversar, então o número de desistências tende a ser menor. Logo, a boa gestão exige que os indicadores sejam estratificados por turno.

O fato é que indicadores agregados dão uma visão geral, mas, ao impossibilitarem identificar qual dos aspectos medidos influencia mais o resultado, perdem parte da habilidade de apontar os problemas. E esse defeito se agrava a medida em que o nível de agregação aumenta ou são adotados pesos.

Atenção

• O uso de métricas agregadas usualmente indica um esforço para gerenciar um número elevado de métricas.

• Os indicadores agregados frequentemente fazem uso de ponderação. O próprio IDH, no componente Educação, adota peso dois para a taxa de alfabetização de pessoas acima de 15 anos de idade e peso um para a taxa bruta de frequência à escola. Mas pesos dificilmente reproduzem a situação real ou conseguem acompanhar as mudanças que ocorrem ao longo do tempo, agravando a dificuldade da análise.

Referência

  1. Vince Soluções e Tecnologia. O que é OEE? Pra que serve? Por que medir o OEE? Disponível em: http://www.oee.com.br/o-que-e-oee/ Acesso em 22.02.2022.

Reunião de Análise Crítica

A Análise Crítica, ou verificação criteriosa dos processos e seus resultados, deve ser feita de forma sistemática e frequente.

Uma das etapas mais importantes deste processo é a Reunião de Análise Crítica, em que diferentes opiniões, conhecimentos e pontos de vista enriquecem as interpretações. O planejamento da reunião deve incluir:

  • Lista de participantes, tomando o cuidado de incluir todos os envolvidos, independentemente do nível hierárquico, pois não é uma reunião de gerentes ou supervisores, mas de profissionais.
  • Frequência, que pode ser mensal, trimestral, etc., conforme as caracterí­sticas do processo sob análise, mas não deve variar.
  • Disponibilidade dos dados, de preferência também na forma de gráficos ou diagramas, além das tabelas, para facilitar a interpretação.

A análise crítica deve observar dois aspectos: os resultados obtidos, comparativamente às expectativas, e a execução física dos planos de ações para melhoria ou correção.

Um análise curiosa

É importante ter consciência que correlação não corresponde, necessariamente, a uma relação de causa e efeito e que nenhuma conclusão pode ser tirada apenas com base na correlação entre duas variáveis, como esclarece o exemplo adiante.

Uma curiosa inversão de causa e efeito

O exemplo mais interessante que vi sobre inversão entre causa e efeito foi o apresentado no clássico “Lie with Statistics” [1]. Os indígenas de Vanuatu observaram, ao longo dos séculos, que as pessoas saudáveis tinham piolhos, enquanto os doentes muitas vezes não. Então, com base nas evidências e alguma lógica, concluíram que os piolhos tornam um homem saudável e todo mundo deveria tê-los.

Já nós, à luz do conhecimento ocidental, acreditamos que quando as pessoas ficam doentes os piolhos caem fora.

Referência

1. Huff, Darrel. How to Lie with Statistics. W. W. Norton & Company Inc. New York, 1954. p. 98.

POST230606 de jul/20, atualizado em abr/24

Indicadores – Com que frequência medir?

Fotografia de um relógio de mesa ao lado de uma ampulheta com areia cor de rosa, indicando a medida do tempo.
Imagem por Steve Buissinne em Pixabay 

A frequência de cálculo e análise dos indicadores deve estar baseada nas características do processo e não na rotina das reuniões ou publicações.

Quem faz dieta para perder peso não sobe na balança apenas uma vez por trimestre. Mas fazer a pesagem três vezes ao dia também não faz sentido. Nos processos empresariais, administrativos ou não, ocorre o mesmo. Cada processo tem seu ritmo e isso deve ser levado em conta para decidir a frequência das medições e das análises dos indicadores de desempenho.

O cálculo dos indicadores não precisa acontecer na mesma periodicidade das reuniões de análise crítica e da publicação dos relatórios, mas deve ter a frequência necessária para evidenciar as variações do processo que se deseja gerir, de modo a identificar desvios logo que possível, mas não tão frequentemente que apenas traga trabalho sem benefício.

O orçamento tem de ser revisado semestralmente, o custo da folha de pagamento é calculado mensalmente e a produção precisa ser avaliada diariamente. Logo, os indicadores associados a esses processos também devem ser avaliados com frequências diferentes. De modo geral, os indicadores têm menor variação e podem ser avaliados com menor frequência à medida em que sobem na hierarquia da empresa.

Indicadores calculados a partir do balanço financeiro da empresa costumam ser acompanhados trimestral, quadrimestral ou anualmente. Indicadores de desempenho operacional, como os que descrevem o comportamento de processos de produção, são acompanhados quase em tempo real, pois os desvios têm de ser percebidos e corrigidos de imediato. Mas a maioria dos indicadores usados na gestão acaba sendo calculada e apresentada mensal ou semanalmente.

É curioso observar que, mesmo com a disponibilidade dos resultados dos indicadores em sistemas informatizados, as empresas continuam praticando as frequências dos antigos relatórios mensais, trimestrais etc.

O acompanhamento dos indicadores de projetos deve ser mais frequente que os dos processos estruturados, pois normalmente há menos tempo para atuar sobre eventuais desvios, já que as atividades são curtas e realizadas uma única vez, fazendo com que as correções sejam mais complicadas e caras.

Como regra geral, avaliações mais frequentes do indicador resultam em melhoria mais rápida do processo correspondente.

A verdade é que não existe uma frequência ideal para acompanhar todos os indicadores. Em caso de dúvida, é melhor começar com medidas mais frequentes e, depois das primeiras análises, espaçar. Em outros casos, a disponibilidade dos dados impõe a frequência possível, como geralmente ocorre nos indicadores financeiros.

Critérios que ajudam a definir a frequência ótima:

  • Importância de resposta rápida, como no controle de processos industriais.
  • Disponibilidade ou custo de colher as informações necessárias para o cálculo do indicador.Impacto do processo medido no negócio ou no processo.
  • Ênfase que se deseja dar à necessidade de melhoria do resultado para a equipe. Se é necessária uma mudança rápida, medidas mais frequentes ajudam a acelerar a melhoria.
  • A dinâmica do processo que está sendo medido. Por exemplo, se o objeto do acompanhamento é a mudança da cultura de segurança na empresa – um fenômeno que ocorre lentamente – pode ser melhor medir semestral ou anualmente.

Nota: Este post, de março de 2020, recebeu pequenos ajustes em dez/21 e mar/23.

Os números são os mesmos, mas…

Imagem de Gerd Altmann por Pixabay 

Diferentes formas de mostrar a mesma coisa, mas com diferentes impactos

A forma como os dados são apresentados é relevante para que haja entendimento e uma correta interpretação da realidade. Esse aspecto se aplica tanto às notícias quanto às informações empresariais e, nos dois casos, pode levar à diferentes conclusões, influenciando as decisões tomadas. Assim, o analista tem muita responsabilidade ao escolher o indicador ou a abordagem que será usada na publicação dos resultados.

Vejamos o seguinte texto, extraído do Balanço Social da Petros de 2009 [1]: “Ao final de 2009 havia 129 empregados negros e pardos na Fundação. Em comparação com o ano anterior, quando a Petros registrou um total de 108 empregados negros e pardos, o aumento foi de 17,6%”.

Mostrado dessa forma, a instituição parece ter dado um grande passo para a diversidade de sua equipe. Mas, como o corpo funcional da Fundação Petros cresceu de 431 em 2008 para 469 em 2009, o percentual de empregados negros e pardos cresceu de 25,0% para 27,5%, o que representa um acréscimo de 2,5 pontos percentuais no período.

Nos dois casos a informação é a mesma, mas a forma de apresentar e o impacto são diferentes. Em sua opinião, qual é a forma mais apropriada e ética de mostrar a evolução ocorrida?

Referência:

1. Petros, Relatório Anual de Responsabilidade Social Empresarial 2009: Balanço Social. Rio de Janeiro. 2010. p. 58

Post de abril/18, atualizado em jul/22.