QUESTIONE AS ESTATÍSTICAS

Nem todas as estatísticas que nos são apresentadas podem ser analisadas e certificadas como dignas de credibilidade, como uma substância é analisada e certificada num laboratório de química. Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 122-142] sugere 5 perguntas que se forem feitas, podem ser facilmente respondidas e fornecem uma dica do que estamos vendo. Com isso podemos evitar aprender informações que na verdade não são bem assim.

1 Quem diz isso?

Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 123] explica: “O primeiro item a procurar é a tendência – o laboratório com alguma coisa a provar por causa de uma teoria, da reputação ou de um pagamento; o jornal cujo objetivo é uma boa história; trabalhadores e patrões com os níveis de salário em jogo”. Lembre-se que mesmo os laboratórios independentes podem ter interesses em jogo.

Geralmente essas estatísticas tendenciosas são caracterizadas por afirmações enganosas, ambíguas ou que não podem ser provadas; por seleção de dados favoráveis e supressão de desfavoráveis; unidades de medida faltando ou que mudam sem aviso; seleção de uma referência errada para comparação levando a um resultado que interesse mais; uso de parâmetros não especificados, como no caso da palavra “média” que é usada para cobrir os parâmetros de “mediana” e “moda” também, e é usada de acordo com o interesse do produtor.

2 Como ele sabe?

Questione como foi possível o produtor levantar estes dados. Muitas vezes os dados são de amostras tendenciosas, com indivíduos selecionados para que o resultado seja o esperado pelo produtor, ou que a amostragem é tão pequena que qualquer resultado poderia ser possível, mas somente aquele resultado que interessa ao produtor é publicado.

Pergunte-se: É a amostragem grande o suficiente para permitir qualquer conclusão confiável? É grande o suficiente para ter um significado?

Também desconfie de números com precisões injustificadas, que geralmente tendem a enganar simulando uma autoridade sem fundamento.

Ou ainda medições de valores difíceis de quantificar, como o nível de energia de uma pessoa, o desempenho sexual, ou a sensação de conforto. Para estas medições de aspectos humanos existem metodologias que garantem os melhores resultados possíveis; verifique se foi usada uma metodologia adequada, ou se o produtor baseou-se apenas na entrevista de algumas pessoas. E lembre-se que neste tipo de pesquisa o entrevistado também pode distorcer o resultado. São poucas as pessoas que se sentem à vontade para admitir que tenham disfunções sexuais, problemas psicológicos, ou até mau hálito.

3 O que está faltando?

O que está faltando é difícil identificar, mas fornece uma boa dica de como a estatística está sendo usada para confundir, ou de uma falha em seus argumentos. A ausência de algum parâmetro ou valor, particularmente se a fonte está interessada no resultado, é suficiente para jogar suspeita no argumento inteiro.

Procure por uma correlação fornecida sem uma medida de confiabilidade (erro provável, erro padrão), e será um indício de uma estatística não muito séria. Também procure por uma média de variedade não especificada, em qualquer assunto onde a média, a mediana e a moda podem diferir substancialmente.

4 Alguém mudou o assunto?

Huff [HUFF, Darrel, How to Lie with Statistics. New York: W W Norton & Company INC, 1954, pág. 131] em seu livro chama a atenção: “Quando avaliando uma estatística, procure por uma mudança em algum lugar entre os valores brutos e a conclusão. Um assunto é muitas vezes informado como outro”.

Geralmente isso ocorre pela assunção de uma correlação que não pode ser provada. A mudança de assunto ocorre quando se apresenta que algo “é devido a” algum motivo, formando uma conclusão sobre os dados. Mas essa relação é somente assumida como sendo verdadeira, e não pode ser provada.

É como no exemplo em que os dados estatísticos mostram que o número de casos registrados de uma determinada doença aumentou em relação à pesquisa anterior. Mas isso não necessariamente significa que a doença está se espalhando. Pode ter havido uma mudança nos critérios para registro dessa doença que aumentam o número de casos que são registrados, ou o aumento do conhecimento sobre a doença permite a identificação de casos quando antes não se sabia a causa; ou o sistema de saúde está cobrindo uma área maior com mais pessoas. Tudo isso pode explicar o aumento de casos registrados, sem significar, necessariamente, que a doença está se espalhando. Isso invalida a conclusão que a correlação entre o aumento de casos registrados e a disseminação da doença seja verdade. Os dados estatísticos mostram um aumento dos casos registrados, e só; ela não mostra um aumento nos casos da doença, embora possa sugerir isso; a correlação ficou por conta da imaginação, desatenção ou desonestidade do produtor da informação.

A mudança de assunto ocorre quando presumimos que algo significa automaticamente outro. Correlação não implica causação, mas é somente um indício que ela pode existir.

Essa correlação “forçada” é especialmente estimulada quando temos estatísticas que não se ajustam completamente bem ao propósito que queremos, então correlacionamos o que queremos saber com os dados que temos. Como no exemplo anterior, a estatística dos casos registrados da doença foi utilizada para estimar o número de casos da doença, podendo levar a uma conclusão errônea sobre o alastramento de uma epidemia, mesmo que os números da estatística estejam corretos. No entanto, muitas vezes esses são os melhores números que podemos conseguir, e o produtor tem que julgar por si mesmo se eles são realmente apropriados para o fim desejado, e se for o caso informar adequadamente o consumidor da informação das premissas utilizadas para a correlação.

5 Isso faz sentido?

Uma pergunta simples, que requer somente um pouco de exercício da imaginação para ser respondida, e, no entanto pode evitar conclusões gravemente erradas.

A pergunta “isso faz sentido?” provoca uma análise objetiva que muitas vezes irá derrubar uma estatística baseada em assunções erradas, pelo simples motivo de elas não apresentarem uma coerência básica ou fugirem do bom senso, o que geralmente pode ser notado desde o princípio. Estatísticas com erros desse tipo só conseguem sucesso quando a aura mágica dos números causa uma suspensão do bom senso. Exemplos são as correlações absurdas, amostras claramente tendenciosas e fortes interesses do produtor.

Um outro exemplo de absurdo é a extrapolação incontrolada. Quando fazemos previsões baseadas em tendências do passado, ignoramos que para isso ocorrer está implícito que tudo o mais deverá estar igual e que a tendência tem que continuar a ocorrer. Mas no mundo real, por algum motivo o ambiente que nos cerca se recusa a permanecer igual, o que, aliás, se não ocorresse faria a vida ser muito chata.

Um aumento grande e constante no passado, não significa necessariamente que o aumento continuará a ocorrer na mesma velocidade, pois o mercado fica saturado com produtos, as pessoas chegam ao seu limite de consumo em determinada área, o crescimento das famílias chega a um limite, o crescimento populacional esbarra em limitações naturais e de infra-estrutura, assim como a economia, entre outros.