Son miles los flamantes titulares que se encuentran en la red donde se destacan llamativos estudios e investigaciones realizados también a través de ésta, el problema es que con palabras bonitas y en especial un mal manejo de las estadísticas, muchos tratan de ocultar la falta de rigurosidad en la obtención de sus resultados o tratan de dar fe de una veracidad inexistente. Los siguientes son algunos consejos para tratar de detectar ese tipo de estudios que sólo generan desconfianza:
1. Números cerrados (30%, 40%, 50%)
Esto tiene sentido si son exactamente 10 personas las estudiadas, pero con estudios cuya muestra son 1553 usuarios, qué clase de cálculos hace falta realizar para llegar a resultados como «exactamente un 20% de personas cree que…» o «el 50% de las personas opina que…».
El primer motivo para desconfiar de un estudio o un titular en la web es que haya tantas cifras cerradas; la razón: los números son infinitos y es poco probable (aunque posible) que todos los resultados siempre se limiten a apenas 10 (10%, 20%, 30%,… 100%) ó 20 (5%, 10%, 15%, 20%…) porcentajes.
2. Fuentes tan confiables como el que las cita
Causa pena que hasta los diarios prestigiosos con versiones en línea publiquen los resultados amarillistas de estudios que hicieron quién sabe dónde sin información sobre los datos técnicos que les permitieron llegar a esos resultados. Así pues, si ves en algún sitio que se publiquen comentarios sobre resultados o estudios de este estilo sin un enlace a una fuente confiable en la que se encuentren explicaciones detalladas de los métodos utilizados, prescinde de creer en lo publicado, en la fuente y en quien la enlaza. Por ejemplo, hace unos días compartí una investigación del SEO en 2013 que aunque parecía cometer el error de redondear algunas correlaciones, contaba con un completo documento de 70 páginas que le fundamentaba y le daba bastante credibilidad.
3. Muestras elegidas por conveniencia
Algunos dirán que el tamaño de muestra no importa pero tal vez en pocas excepciones (p.e., si hago sopa para dos personas o para 500 personas la pruebo para ver si está bien de sal con la misma cuchara en ambos casos), pero sí importa, tanto como la forma de selección de la muestra que a veces se realiza por conveniencia, esto es, controlando todas las variables que le afectan. En la vida real se suele hacer para ahorrar costos (encuestas telefónicas, encuestas en sólo determinados lugares de la ciudad, etc.) y en la web se suele hacer lo mismo incluso de forma inconsciente. Por ejemplo, si se pone una larga encuesta en Google Drive, sólo gente que tenga el suficiente tiempo libre la llenará por completo, de esa forma se sesga automáticamente la muestra y el estudio a la opinión exclusiva de tales «desocupados» -en el buen sentido de la palabra-.
4. Métodos de captura de datos igualmente dudosos
Por ejemplo, si el estudio lo hicieron mediante encuestas, qué programa utilizaron para recoger las respuestas, ¿acaso fue a través de Google Drive o quizá con alguna herramienta basada en Flash o JavaScript? Si es el segundo caso, qué pasa con los usuarios que no tienen JavaScript o Flash habilitado en su navegador, ¿se eliminan automáticamente del estudio y no son tenidos en cuenta? Finalmente, ¿el sistema de captura de datos contó con alguna medida para evitar trolls? Son muchas las preguntas que surgen en torno a los métodos y herramientas de captura de respuestas, y entre más grande sea el número de dudas sin resolver, más desconfiable será el estudio.
5. Bonitos y coloridos gráficos con efectos 3D
No hace falta ser un especialista en Microsoft Excel para crear gráficos en 3D con decenas de filtros de colores, transparencias, reflexiones, traslaciones, etc., el lío es que por querer llamar la atención se pueden afectar terriblemente los resultados. Como ejemplo, gira un diagrama de pastel en 3D y mira como cambia la percepción de estos, y lo mismo sucede con gráficos de barras tridimensionales que a veces incluyen cosas raras en los ejes o en las escalas. Entre más colores y más efectos tengan los gráficos de un estudio en la web (o en cualquier otro lugar), trata de ser más desconfiado pues podría tratarse simplemente de contenido basura, basura en un muy bonito envoltorio.
6. Resultados e interpretaciones sesgadas
¿Cómo es posible que especialistas y profesionales salgan a decir que el público mundial de Internet tiene determinados comportamientos si han utilizado en su «estudio» una muestra con apenas 100 personas ubicadas en New York, USA -lo peor es que hasta en TV lo hacen-? Eso se hace simplemente para ser amarillistas («consumir café produce blablabla», «dar 10 besos al día causa blablabla», etc.). Mucho peor es cuando se tratan de ajustar forzosamente las estadísticas a los resultados, y no al contrario. De ese modo, si el candidato político que sigue quien publica las conclusiones del estudio obtuvo un 13% de favorabilidad en las investigaciones, es bastante probable que se traten de hacer subjetivas las interpretaciones con comentarios bonitos para hacer que parezca que tal candidato realmente ha conseguido un 61%. Aplica tu criterio y decide si creer o no en tales interpretaciones.
7. Mucho texto técnico, poco texto práctico
Las estadísticas web están enfocadas a ser consumidas, o al menos sus interpretaciones, por un público general, con conocimientos básicos mas no avanzados. Así pues, empezar a enunciar conceptos y cosas complejas que sólo el redactor entenderá, sólo muestra el ánimo de éste de engatusar a los lectores junto a su ineficacia para entender los resultados e interpretarlos.
8. No sólo por ser periodista se poseerán facultades estadísticas
Periodistas de grandes diarios y populares portales creen que su fama les da automáticamente las facultades académicas para leer cualquier tipo de gráfico estadístico o tabla con datos. Por supuesto, habrá varios que tendrán el fundamento matemático suficiente para hacerlo, pero no cualquiera puede permitírselo ya que es algo tan grave como recetar medicamentos sin ser médico.
9. En promedio…
Mi vecino gana 100 dólares al mes y yo gano 600 dólares también al mes, en promedio ambos ganamos 350 dólares al mes. Ahora bien, ¿qué tal que se cobraran los impuestos usando promedios? Desviaciones estándar, modas, mínimos, máximos, valores atípicos, porcentajes, promedios ponderados (en el ejemplo no es aplicable) son medidas simples que dicen muchísimo más sobre los datos, especialmente que la Estadística, incluyendo las estadísticas web, no trata sólo de promedios aritméticos.
10. La Estadística tiene sus limitaciones
Llevándole la contraria a Homero Simpson, no todo se puede demostrar con estadísticas y no por hablar de porcentajes y promedios se dará mágicamente el valor de verdad a determinados argumentos, especialmente a los falaces. La Estadística es un conjunto de métodos que tratan de llevar a otro plano los problemas, tratarlos con herramientas basadas en matemáticas, y devolverlos a la realidad para ver si se ha obtenido algo interesante. Y todo ese proceso está limitado por aproximaciones porque simplemente la Estadística no es exacta y no en todos los casos sus métodos son aplicables. Por ejemplo, una limitación importante en la web es que todos los estudios son tan veraces como lo quieran los sujetos estudiados, y las únicas opciones que hay son confiar o no confiar en sus respuestas.
Imagen: estadísticas de shutterstock
