QUESTIONE AS ESTATÍSTICAS

Nem todas as estatísticas que nos são apresentadas podem ser analisadas e certificadas como dignas de credibilidade, como uma substância é analisada e certificada num laboratório de química. Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 122-142] sugere 5 perguntas que se forem feitas, podem ser facilmente respondidas e fornecem uma dica do que estamos vendo. Com isso podemos evitar aprender informações que na verdade não são bem assim.

1 Quem diz isso?

Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 123] explica: “O primeiro item a procurar é a tendência – o laboratório com alguma coisa a provar por causa de uma teoria, da reputação ou de um pagamento; o jornal cujo objetivo é uma boa história; trabalhadores e patrões com os níveis de salário em jogo”. Lembre-se que mesmo os laboratórios independentes podem ter interesses em jogo.

Geralmente essas estatísticas tendenciosas são caracterizadas por afirmações enganosas, ambíguas ou que não podem ser provadas; por seleção de dados favoráveis e supressão de desfavoráveis; unidades de medida faltando ou que mudam sem aviso; seleção de uma referência errada para comparação levando a um resultado que interesse mais; uso de parâmetros não especificados, como no caso da palavra “média” que é usada para cobrir os parâmetros de “mediana” e “moda” também, e é usada de acordo com o interesse do produtor.

2 Como ele sabe?

Questione como foi possível o produtor levantar estes dados. Muitas vezes os dados são de amostras tendenciosas, com indivíduos selecionados para que o resultado seja o esperado pelo produtor, ou que a amostragem é tão pequena que qualquer resultado poderia ser possível, mas somente aquele resultado que interessa ao produtor é publicado.

Pergunte-se: É a amostragem grande o suficiente para permitir qualquer conclusão confiável? É grande o suficiente para ter um significado?

Também desconfie de números com precisões injustificadas, que geralmente tendem a enganar simulando uma autoridade sem fundamento.

Ou ainda medições de valores difíceis de quantificar, como o nível de energia de uma pessoa, o desempenho sexual, ou a sensação de conforto. Para estas medições de aspectos humanos existem metodologias que garantem os melhores resultados possíveis; verifique se foi usada uma metodologia adequada, ou se o produtor baseou-se apenas na entrevista de algumas pessoas. E lembre-se que neste tipo de pesquisa o entrevistado também pode distorcer o resultado. São poucas as pessoas que se sentem à vontade para admitir que tenham disfunções sexuais, problemas psicológicos, ou até mau hálito.

3 O que está faltando?

O que está faltando é difícil identificar, mas fornece uma boa dica de como a estatística está sendo usada para confundir, ou de uma falha em seus argumentos. A ausência de algum parâmetro ou valor, particularmente se a fonte está interessada no resultado, é suficiente para jogar suspeita no argumento inteiro.

Procure por uma correlação fornecida sem uma medida de confiabilidade (erro provável, erro padrão), e será um indício de uma estatística não muito séria. Também procure por uma média de variedade não especificada, em qualquer assunto onde a média, a mediana e a moda podem diferir substancialmente.

4 Alguém mudou o assunto?

Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 131] em seu livro chama a atenção: “Quando avaliando uma estatística, procure por uma mudança em algum lugar entre os valores brutos e a conclusão. Um assunto é muitas vezes informado como outro”.

Geralmente isso ocorre pela assunção de uma correlação que não pode ser provada. A mudança de assunto ocorre quando se apresenta que algo “é devido a” algum motivo, formando uma conclusão sobre os dados. Mas essa relação é somente assumida como sendo verdadeira, e não pode ser provada.

É como no exemplo em que os dados estatísticos mostram que o número de casos registrados de uma determinada doença aumentou em relação à pesquisa anterior. Mas isso não necessariamente significa que a doença está se espalhando. Pode ter havido uma mudança nos critérios para registro dessa doença que aumentam o número de casos que são registrados, ou o aumento do conhecimento sobre a doença permite a identificação de casos quando antes não se sabia a causa; ou o sistema de saúde está cobrindo uma área maior com mais pessoas. Tudo isso pode explicar o aumento de casos registrados, sem significar, necessariamente, que a doença está se espalhando. Isso invalida a conclusão que a correlação entre o aumento de casos registrados e a disseminação da doença seja verdade. Os dados estatísticos mostram um aumento dos casos registrados, e só; ela não mostra um aumento nos casos da doença, embora possa sugerir isso; a correlação ficou por conta da imaginação, desatenção ou desonestidade do produtor da informação.

A mudança de assunto ocorre quando presumimos que algo significa automaticamente outro. Correlação não implica causação, mas é somente um indício que ela pode existir.

Essa correlação “forçada” é especialmente estimulada quando temos estatísticas que não se ajustam completamente bem ao propósito que queremos, então correlacionamos o que queremos saber com os dados que temos. Como no exemplo anterior, a estatística dos casos registrados da doença foi utilizada para estimar o número de casos da doença, podendo levar a uma conclusão errônea sobre o alastramento de uma epidemia, mesmo que os números da estatística estejam corretos. No entanto, muitas vezes esses são os melhores números que podemos conseguir, e o produtor tem que julgar por si mesmo se eles são realmente apropriados para o fim desejado, e se for o caso informar adequadamente o consumidor da informação das premissas utilizadas para a correlação.

5 Isso faz sentido?

Uma pergunta simples, que requer somente um pouco de exercício da imaginação para ser respondida, e, no entanto pode evitar conclusões gravemente erradas.

A pergunta “isso faz sentido?” provoca uma análise objetiva que muitas vezes irá derrubar uma estatística baseada em assunções erradas, pelo simples motivo de elas não apresentarem uma coerência básica ou fugirem do bom senso, o que geralmente pode ser notado desde o princípio. Estatísticas com erros desse tipo só conseguem sucesso quando a aura mágica dos números causa uma suspensão do bom senso. Exemplos são as correlações absurdas, amostras claramente tendenciosas e fortes interesses do produtor.

Um outro exemplo de absurdo é a extrapolação incontrolada. Quando fazemos previsões baseadas em tendências do passado, ignoramos que para isso ocorrer está implícito que tudo o mais deverá estar igual e que a tendência tem que continuar a ocorrer. Mas no mundo real, por algum motivo o ambiente que nos cerca se recusa a permanecer igual, o que, aliás, se não ocorresse faria a vida ser muito chata.

Um aumento grande e constante no passado, não significa necessariamente que o aumento continuará a ocorrer na mesma velocidade, pois o mercado fica saturado com produtos, as pessoas chegam ao seu limite de consumo em determinada área, o crescimento das famílias chega a um limite, o crescimento populacional esbarra em limitações naturais e de infra-estrutura, assim como a economia, entre outros.

CITAÇÃO INCITADORA - PARTE 7

“Existem três tipos de mentiras: mentiras, mentiras abomináveis, e estatísticas”.

- Bejamin Disraeli, político e escritor britânico (1804-1881)

ENTENDA MAIS AS ESTATÍSTICAS - PARTE 3

Outro problema comum é o uso de termos vagos, que podem se aplicar a mais de um parâmetro estatístico, e que podem ser escolhidos de acordo com a conveniência do produtor. Sempre questione a definição das medidas que são usadas naquela estatística em particular.

Um exemplo de termo vago muito usado é várias vezes citado por Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 28] em seu livro. Ele descreve o uso enganoso que pode-se fazer da palavra “média”: “Um truque comum é usar a palavra ‘média’ para diferentes tipos de média, pois este termo é bem vago. Este é um truque comumente usado, algumas vezes inocentemente mas geralmente intencionalmente, por pessoas querendo influenciar a opinião pública ou vender espaços de publicidade. Quando te dizem que alguma coisa é uma média você não sabe muito sobre isso até que possa descobrir quais dos tipos comuns de média é – média, mediana ou moda”.

A figura abaixo, preparada por Huff, é uma ótima ilustração das diferenças entre média, mediana e moda. Neste caso, é a análise estatística do salário dos trabalhadores em uma fábrica.

Figura tirada de “A Produção de Informações Estratégicas”, de Platt, que foi adaptada do livro “How to Lie with Statistics”, de Huff. Uma ótima lustração das diferenças entre média, mediana e moda. [PLATT, Washington. A Produção de Informações Estratégicas. Rio de Janeiro: Agir Editora, 1974. Figura da pág. 225]

Note que neste caso, as diferenças entre os 3 tipos de média são bem acentuadas, e cada média pode se prestar a defender um tipo diferente de argumento. Os sindicalistas podem usar a mediana ou a moda como “média” para defender que a maioria dos trabalhadores ganha pouco e merece um aumento. Enquanto que os patrões podem usar a média aritmética, que é a mais alta devido à influência dos altos salários de uns poucos funcionários da liderança, para defender que a “média” de salários na fábrica é alta e que reajustes salariais não são necessários.

Usar somente a “média” como um argumento estatístico pode ser um indício de estatística tendenciosa, principalmente se a média não for especificada. Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 42 e 43] escreve: “Geralmente uma média – seja ela uma média, mediana, especificada ou não – é de tal simplificação excessiva que é pior do que inútil. Saber nada sobre o assunto é freqüentemente mais saudável que saber o que não é, e um pequeno aprendizado pode ser uma condição perigosa”.

E também há o erro estatístico, que é uma estimativa do erro entre o que foi observado e o valor que se espera confirmar. É como nas pesquisas de intenção de voto nas eleições, em que é informado que o erro da pesquisa pode levar os resultados 2% ou 3% para cima ou para baixo. Este valor é importante quando comparamos valores semelhantes, pois, se considerado o erro estatístico, as conclusões sobre o quadro geral podem ser diferentes, como o resultado esperado de uma eleição ou a comparação dos resultados de um teste. Lembre-se que comparações entre valores com diferenças pequenas só têm significado se você manter em mente este mais-ou-menos, mesmo (ou especialmente) quando isso não é informado.

Desconfie de estatísticas com resultados muito precisos. Cerca de 93,2151734% de todas as estatísticas alegam uma precisão de resultados que não pode ser justificada pelo método empregado. Na afirmação anterior parece óbvio que tal precisão não passa de uma piada. Mas num momento de desatenção ou de leitura sem crítica, não é difícil creditarmos como verdadeiras as estatísticas que “estimam” que 40,87% das intenções de voto são para determinado candidato, que uma pasta de dente é 23,19% mais eficiente em evitar cáries que as concorrentes, ou que um energético aumenta o nível de energia em 32,82%. Como eles podem saber disso, com essa precisão? Quais métodos foram empregados? Estes métodos justificam a divulgação de números com tal resolução? Tais resoluções geralmente advêm de cálculos matemáticos, usados para calcular médias ou outro parâmetro qualquer, mas não provam e nem indicam a precisão do método estatístico utilizado. O problema é que números arredondados parecem falsos, e até certo grau são mesmo, mas na maioria dos casos são mais que suficiente para informar, com o devido grau de precisão que a estatística oferece, e são mais fáceis de lembrar e comparar. Mas números muito precisos geralmente impressionam muito as pessoas, e por isso são muito usados.

Outro tipo de informação cuja ausência pode levar a desentendimentos, é aquela que diz a faixa ou amplitude da amostra ou o seu desvio da média, este último geralmente representado pelo desvio-padrão.

As estatísticas na maioria das vezes se concentram nas médias, em torno de um ponto central. O interesse na maioria dos casos é com o que ocorre no corpo principal dos resultados, no que é freqüente, normal e mediano. No entanto, algumas vezes são os extremos que nos interessam, é aquilo que se afasta ao máximo do ponto central, tanto em uma das extremidades quanto em outra. É o que ocorre com quem quer determinar o peso máximo que uma ponte deve suportar, ou identificar o ponto fraco em um sistema.

Como no exemplo da minha falha em compreender as estatísticas de expectativa de vida, se fosse informado as idades máximas, eu não teria incorrido no mesmo erro. Um monte de confusão pode ser evitado se à média for acrescentada uma indicação da faixa de variação.

CITAÇÃO INCITADORA - PARTE 6

“Primeiro consiga os seus fatos; então os distorça ao seu bel prazer”.

- Mark Twain, escritor americano (1835-1910)

ENTENDA MAIS AS ESTATÍSTICAS - PARTE 2

Um portador comum de erros e mentiras é a amostragem. A amostragem vai determinar a qualidade dos resultados estatísticos. Não são raros os casos de estudos ou pesquisas que tiram conclusões baseadas em amostras pequenas, que fornecem resultados pouco sólidos. Quanto maior a amostragem, menores são os erros estatísticos. Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 13] afirma que “o procedimento de amostragem é o coração de grande parte das estatísticas que você encontra sobre todo tipo de assunto”.

Mas os truques mais desonestos com a amostragem são aqueles que selecionam os dados mais convenientes para os cálculos dos parâmetros estatísticos, o que é agravado pelas facilidades oferecidas pelo computador. Agora é fácil escolher entre dezenas de combinações de dados, gráficos e testes estatísticos, e selecionar para a publicação aqueles que melhor defendem o ponto de vista do produtor. Esta seleção de dados é conhecida como “mineração dos dados”, e é parecida com as técnicas dos mágicos, que escolhem o que revelar e o que esconder para manter a atenção do iludido público. O consumidor deve sempre considerar que provavelmente o que está sendo mostrado são os dados minerados, ou a combinação de dados que melhor serve aos propósitos do produtor.

E não se deixe enganar pela terminologia; muitas vezes índices e estatísticas têm o mesmo nome, mas isso não significa que são equivalentes, e nem que podem ser colocadas lado a lado e serem comparadas. Muitas vezes elas vêm de contextos totalmente diferentes, e apresentam critérios e cálculos distintos. É o caso de estatísticas realizadas por órgãos governamentais, que levam em consideração o contexto de seus próprios países, e geralmente não podem ser diretamente comparados com os mesmo índices de outros países.

Como exemplo, o índice de desemprego pesquisado e calculado pelo governo da Alemanha para seu país, pode ser incomparável ao índice de desemprego estimado pelo governo brasileiro; são países com contextos totalmente diferentes, e os critérios para considerar uma pessoa desempregada podem ser diferentes, como com relação ao tempo sem emprego necessário para ser considerada desempregada, a consideração sobre os trabalhos autônomos, outras fontes de renda que não de um emprego, situação de emprego do cônjuge, se está procurando trabalho ou não, entre outros. Para o governo dos EUA, por exemplo, pessoas sem emprego, mas que estão ativamente procurando por trabalho, não são consideradas desempregadas.