Apesar de apresentar características positivas, a visualização gráfica avançada traz consigo alguns riscos ou dificuldades que devem ser conhecidos para que sejam evitados:
Sofisticação desnecessária. A ênfase excessiva na beleza estética e na sofisticação, por vezes, causa distração de gestores e dificulta a análise de dados.
A escolha do gráfico pode impor visão preconcebida da situação e dificultar análise equilibrada. A depender da escolha das escalas utilizadas, um mesmo gráfico pode dar a impressão de estagnação e a ambiguidade levará à análise errada do conteúdo.
Em diversos casos, os gestores satisfazem-se com a visualização de um único gráfico, o que acreditam ser suficiente para toda a compreensão do contexto, sem prospectar detalhamento mais informativo.
É muito importante que gráficos tenham profundidade e sejam, efetivamente, representativos dos dados, além de acompanhados de explicações e tabelas, sempre que possível.
Fonte: Bachmann, Coriceu. Princípios de Gestão de Sistemas de Informação: Melhor informação, melhor decisãoo. Kindle Edition. 2016. Disponível na www.amazon.com.br
Dar pesos aos diferentes fatores de um indicador é uma prática comum, mas pode ser inconveniente.
Em um indicador ponderado, cada fator ou parcela recebe um peso, ajustando o resultado às importâncias relativas entre esses fatores ou parcelas.
Porém a adoção de pesos para os diferentes fatores ou parcelas que compõe um indicador agregado [1] é uma ação subjetiva que insere informações adicionais no resultado. Como os pesos resultam da intuição, julgamento, experiência, cópia do que outros usam, características do líder ou compromissos políticos de quem projeta o indicador, etc., dificilmente reproduzem a situação real ou conseguem acompanhar as mudanças que ocorrem ao longo do tempo.
Na prática, isso dificulta a interpretação da métrica, pois na análise o usuário acaba tentando, intuitivamente, identificar os valores individuais e a importância de cada um dos componentes, para saber onde deve agir visando à melhoria do resultado.
Resumindo, o uso de pesos pode ser útil, mas na construção de indicadores agregados não é, em princípio, uma boa prática.
Na prática, o fator de ponderação é uma mistura de intuição, julgamento, experiência, benchmarking, características de liderança e compromisso político. – Lim Teik Han
“Voice-of-Customer” (VoC) continua a ser KPI favorito dos call centers mas, muitas vezes, a pontuação do VoC não faz sentido, pois as ações que o atendente deve tomar frequentemente não afetam o resultado da métrica VoC porque a pesquisa tem tudo a ver a percepção do cliente, não com o trabalho do atendente.
Se o cliente não gostar dos dados apresentados e preencher a pesquisa do VoC influenciado pelo resultado, e não pela qualidade do atendimento, como é esperado que o atendente consiga melhorar seu trabalho?
Na gestão, a análise bem-feita é mais importante que o acesso rápido às informações.
Enquanto o Neymar tem milésimos de segundo para decidir o que fazer com uma bola recebida, o gestor tem mais flexibilidade de tempo. Assim, deve privilegiar a análise para obter uma boa decisão. Nas decisões gerenciais, o tempo não é a variável mais relevante e raramente a disponibilidade de informações em tempo real é o mais importante.
Na verdade, pode até ser prejudicial, pois novas informações funcionam como elementos de distração, quando o administrador deveria estar concentrado nas ações de melhoria decididas na análise anterior. Separar as etapas de estabelecer a meta, planejar como alcançá-la, agir para que o planejado seja executado e, finalmente, avaliar a qualidade do plano e da execução comparando o resultado e a meta, é a essência da boa administração.
Isso fica mais claro se entendermos o processo de gestão que, embora possa ser feito de diversos modos, em essência é sintetizado pelo PDCA. Exemplificando: O gestor recebe informação sobre a taxa de inadimplência e, comparando com a meta ou a expectativa, conclui que está elevada. A partir dessa constatação, ele define um Plano de Ações para melhorar o resultado. Por alguns dias, é mais importante que ele se concentre na execução do plano do que tentar ver o efeito que, de modo geral, só pode ser identificado em medidas sobre períodos mais longos, como um mês. No mês seguinte ele observa o resultado e sabe se as ações tomadas foram efetivas ou se o Plano de Ações deve ser ajustado. Durante esse período, observar as variações da inadimplência a cada dia não contribui para a melhora dos resultados e, na prática, torna-se um elemento de perturbação e de perda de tempo.
Então, respondendo à pergunta do título: Velocidade é sim importante na decisão gerencial, mas a qualidade da análise é muito mais.
A escala de Likert é uma das mais usadas para mensurar sentimentos e percepções.
Em geral, as medidas de parâmetros intangíveis são obtidas por meio de pesquisas e expressam o “sentimento” das pessoas. Nessas pesquisas, elas apontam seu grau de concordância ou discordância com uma afirmação apresentada, como no exemplo:
A Escala Likert, ou Escala de Likert, tem esse nome em homenagem ao psicólogo organizacional Rensis Likert que no artigo “A Technique for the Measurement of Attitudes”, de 1932 [1], propôs a escala de 1 a 5. A escala é uma das mais usadas em pesquisas de satisfação, inclusive sobre o ambiente de trabalho (clima organizacional).
Na Escala Likert os respondentes são solicitados não só a concordarem ou discordarem das afirmações, mas também a informar seu grau de concordância ou discordância em relação a elas. Para isso, a cada resposta deve ser atribuído um número que reflete a atitude do respondente em relação à afirmação.
Nas pesquisas de satisfação é comum associar as respostas aos termos:
Muito insatisfeito
Insatisfeito
Indiferente
Satisfeito
Muito satisfeito
mas outras possibilidades também são possíveis, a depender de se questionar a concordância, a importância ou a frequência de algo.
Alguns pesquisadores preferem usar a chamada Escala de Likert Ampliada, com sete ou mesmo nove níveis, como exemplificado a seguir:
Discordo totalmente
Discordo moderadamente
Discordo um pouco
Nem concordo nem discordo
Concordo um pouco
Concordo moderadamente
Concordo totalmente
Mas o benefício é pequeno e certamente não justifica a troca de uma escala já em uso e perder a série histórica [2].
Para evitar as respostas que não oferecem um posicionamento claro, costuma-se usar a chamada Escala de Likert Modificada, com um número par de opções, eliminando a opção “Indiferente”, que permite ao respondente se manter neutro.
Também há outras razões para usar a escala modificada [3]:
Marcar “indiferente” é o mesmo que não responder ao item.
A inclusão “indiferente” incentiva o respondente preguiçoso a simplesmente marcar todas as opções do meio, com o mesmo efeito do item anterior.
Em uma pesquisa desejamos que os respondentes pensem sobre o item e relatem uma opinião, por mais fraca que seja. Não incluir a opção “indiferente” incentiva o relato.
Mas essa decisão (Likert sem o ponto central) deve ser feita caso a caso, pois em algumas situações a situação é de fato indiferente para o respondente e ele deve ter a possibilidade de registrar isso. Até porque, quando a opção neutra não aparece, há evidências de que o respondente favorece ou “cai” para o lado positivo.
Quando a pesquisa é informatizada e o sistema obriga a escolha de uma resposta, pode ser conveniente incluir também uma resposta alternativa como:
Não se aplica / Não conheço ou nunca usei (o produto ou serviço).
para atender aos respondentes que realmente não têm opinião, evitando forçar uma resposta inadequada.
para atender aos respondentes que realmente não têm opinião, evitando forçar uma resposta inadequada.
Dicas
Quando a pesquisa envolve várias questões, é importante que a formatação (número de opções para cada uma) seja a mesma para todas elas, para facilitar o preenchimento e a análise.
Os maiores problemas no uso da Escala Likert estão relacionados à interpretação das afirmações. Portanto, as frases devem ser redigidas com muito cuidado e é recomendável algum tipo de teste antes de sua aplicação generalizada.
Análise
Os resultados obtidos para as diversas questões descrevem o sentimento do respondente, ou do conjunto de respondentes, em relação ao aspecto avaliado.
Para a análise, é importante entender que os itens são apenas dados ordenados [3]. Logo, na Escala Likert não se pode calcular médias para as respostas e faz mais sentido apresentar os resultados em cada categoria do que mostrar a média.
Robert Wise [4] justifica esse cuidado com uma observação: Na escala de 1 a 5, suponha que metade dos respondentes discorde fortemente (escore 1) e a outra metade concorde fortemente (escore 5). A média levaria ao escore 3, uma situação morna de “não concorda nem discorda” que, claro, não representa a realidade.
Exemplificando. Em uma consulta sobre remuneração, é pedido que cada respondente marque a opção que melhor representa sua opinião em relação à afirmação “Minha remuneração é justa”.
Observe que a média das respostas (2,6 na escala de 1 a 5), embora sinalize descontentamento, não dá uma boa indicação da realidade.
Portanto, nas análises é melhor determinar o percentual de cada resposta.
A linha inferior, com os percentuais, já é uma boa referência para algumas conclusões. Mas, para simplificar a análise, é comum que as respostas 1 e 2 sejam tratadas como pertencentes a um mesmo grupo e as 4 e 5 a outro.
Essa forma de observar os resultados indica que o nível de satisfação com a remuneração praticada pela empresa é baixo. Apenas 20% dos colaboradores pesquisados se mostrou satisfeito e metade (50%) expressou insatisfação. Também pode ser oportuno anotar a porcentagem de não respondentes, quando for o caso.
Os resultados obtidos dessa forma são particularmente úteis para avaliar as mudanças de percepção ao longo do tempo (desde que as questões e o público sejam sempre os mesmos), comparando resultados obtidos em diferentes épocas e após diferentes ações de gestão. Entretanto, não é recomendada para comparar organizações diferentes, pois:
As questões relevantes mudam de empresa para empresa.
A interpretação das questões está sujeita à cultura organizacional e as mesmas afirmações podem ter conotações diversas para grupos diferentes.
Em geral, também não é adequado fazer a média dos resultados de diferentes questões de uma pesquisa, embora em alguns casos esse número sugira a visão coletiva dos respondentes sobre o conjunto das perguntas.
Resumindo, as primeiras pesquisas de opinião ou de satisfação eram objetivas e perguntavam se as pessoas queriam ou não um serviço, se gostavam ou não de um produto. Ao longo do tempo, as consultas foram se tornando mais complexas. A Escala de Likert trouxe simplicidade e facilidade para responder e interpretar os levantamentos, sendo amplamente usada em pesquisas de marketing, de clima organizacional e outras em que se deseja obter informação sobre preferências, opiniões, atitudes e percepções das pessoas. Mas sua interpretação exige alguns cuidados.
Se um conjunto específico de dados é subjetivo ou objetivo não depende do quê está sendo medido (que pode ser uma opinião), mas como está sendo medido (que pode variar em função do julgamento humano exigido). – Robert Wise
Referências
1. Likert, Rensis (1932), A Technique for the Measurement of Attitudes, Archives of Psychology, 140: pp. 1-55. Disponível em: https://legacy.voteview.com/pdf/Likert_1932.pdf. Acesso em 22 ago.17.
A qualidade dos dados refere-se à sua capacidade de atender à finalidade pretendida. Você pode estar usando o indicador certo, mas se os dados para o cálculo estiverem errados, tuas decisões também serão erradas.
A qualidade — o grau em que os dados são adequados para uso — é julgada no momento do uso. Se atender às necessidades naquele momento, pode ser considerado “de qualidade”.
A qualidade dos indicadores e sua capacidade de contribuir para a gestão depende dos dados usados nos cálculos. Infelizmente, a experiência mostra que é comum que tais dados não sejam adequados. As principais razões são:
Erros por falta de padronização na coleta ou falha de entendimento sobre o que se deseja.
Mudança não informada na forma da coleta, para simplificar o processo.
Dados colhidos sem cuidado ou responsabilidade, como muitas vezes é feito na apropriação de tempo das pessoas em que qualquer soma que resulte em 40 horas por semana parece aceitável.
Erros na transcrição dos dados.
Dados manipulados para melhorar os resultados ou esconder algum resultado ruim.
O hábito de dar uma “melhorada” nos dados para que resultados ruins não cheguem aos superiores ou ao público é, infelizmente, bastante comum.
Essa prática, delicadamente chamada de “massagear os dados”, leva a situações como a de Detroit, nos Estados Unidos. A cidade acabou acusada de camuflar a quantidade de mortes porque não queria ser conhecida como a “capital norte-americana dos homicídios”. Após análise, os críticos concluíram que Detroit adotava um critério diferente das demais grandes cidades americanas para contar os assassinatos. Eles escaparam do rótulo, mas os funcionários foram atacados pela mídia [1].
Lee Schwartz, especialista em indicadores, conta um caso em que os produtos que não podiam ser entregues no prazo eram negociados com os clientes e se eles concordavam com a mudança de data, eram computados como “Entregues no Prazo (“On Time Delivery“) [2].
As organizações devem abordar de frente a qualidade dos dados, implementar políticas, criar estruturas organizacionais e promover cultura na qual [3]:
Os criadores de dados criam dados corretamente, pela primeira vez, com total entendimento do que isso significa para os clientes, aqueles que usam os dados que eles criam.
Os clientes de dados devem comunicar seus requisitos de dados às fontes de dados e fornecer feedback quando os dados estiverem errados.
Praticamente todos reconhecem que são ao mesmo tempo criadores e clientes de dados.
Antes de usar um conjunto de resultados no cálculo de indicadores é necessário efetuar uma “limpeza” na amostra. Essa atividade, que inclui identificar e, se for o caso, excluir outliers, buscar valores faltantes e esclarecer anomalias, é frequentemente ignorada, com péssimos efeitos para a gestão e para a credibilidade dos responsáveis.
Portanto, para uma gestão eficaz, os dados devem ser adequados, válidos e confiáveis. Parte da solução do problema é adotar uma cultura na qual os resultados dos indicadores são usados como aprendizado para a melhoria dos processos e não para premiar ou penalizar as pessoas.
Apenas informações confiáveis permitem conclusões confiáveis. Daí a importância da qualidade dos dados.
Os indicadores em tua organização oferecem referência adequada para responder as perguntas associadas à gestão? Qual é o maior problema encontrado?
O valor isolado de um indicador tem pouca ou nenhuma utilidade. Na prática, o benefício depende de uma de três alternativas:
Sua comparação com uma meta.
A comparação do resultado de um indicador com uma meta estabelecida permite determinar a diferença entre a performance obtida e o pretendida ou desejada. Essa diferença, conhecida como desvio ou gap de desempenho, orienta sobre a necessidade de alguma ação ou ajuste.
Sua comparação com valores históricos.
A comparação com os valores que o mesmo indicador alcançou em momentos anteriores (baseline) permite avaliar se está havendo uma melhora nos resultados e se a tendência é de redução, crescimento ou estabilidade. Esta informação é importante para identificar algum problema e permitir uma avaliação da eficácia das ações tomadas anteriormente.
Sua comparação com algum referencial de excelência.
A comparação dos resultados da métrica com referenciais de excelência (benchmarks) é útil por identificar gaps que representam oportunidades de melhoria.
A um determinado aumento percentual não corresponde a mesma redução percentual. Ou, de outro modo, uma mesma variação percentual corresponde a diferentes quantidades se um resultado primeiro aumenta e depois diminui. Portanto, percentuais em relação a valores anteriores não são bons indicadores. Por exemplo:
100 + 20% =120
120 – 20% = 96
Mas isto não impede que os resultados calculados período a período, sobre uma mesma base, possam ser mostrados em escala percentual.
Esta prática é particularmente útil quando precisamos comunicar as variações ou tendências de uma informação sensível, como volume de vendas ou faturamento. Nesse caso, escolhemos um determinado valor, por exemplo o faturamento de janeiro, como base (correspondendo ao valor 100) e apresentamos os valores dos meses seguintes como percentuais em relação a esse mês.
A mudança da estratégia ou da conjuntura pode exigir a troca dos indicadores de determinadas operações ou processos. Por exemplo, um levantamento feito por distribuidores da Caterpillar junto aos frotistas de equipamentos constatou que, para os usuários das máquinas, a prioridade mudou de “Produtividade” para “Custo por tonelada” [1].
Enquanto no Brasil o parâmetro para medir o desempenho das máquinas para corte de madeira é a produtividade, na Europa – em uma realidade mais restritiva na disponibilidade de matéria-prima – se busca rendimento [2].
Logo, a escolha, ou ao menos a ponderação, dos indicadores usados na gestão têm que mudar conforme a estratégia ou a realidade ou momento de cada empresa.
Referências:
1 – Minérios & Minerales. Set/out 2009. p. 35.
2 – Fórum “Os Desafios da Indústria – FIEP”, em 17 de junho de 2004.
