Ya sabemos que la famosa p es, no más, no menos, la probabilidad de que el azar haya causado los resultados de nuestro experimento o nuestra observación³. Nos da así un criterio sobre la credibilidad de los resultados, y de la hipótesis que los predijo.

Esto se hace mediante unos cálculos estadísticos más o menos complejos que tienen en cuenta, esencialmente, dos cosas: cuán bien hemos medido (cuánto se dispersan los datos, generalmente expresado con la desviación estándar o una medida asimilable), y cuántos casos hemos estudiado.

Ya hemos mencionado cómo la variabilidad en los datos afecta a la p y cómo el mejorarla (disminuirla) cuesta dinero⁴. Veremos ahora cómo el número de casos que se ha estudiado interviene en ello, de manera que es posible aumentar la significación simplemente aumentando el número de casos ⁵.

Utilizaremos para ello unos datos generados al azar, simulando un estudio comparando un tratamiento (A), bien conocido y usado desde hace tiempo, y uno (B), novedoso, ambos indicados contra el del dolor. Se mide el tiempo, en horas, durante el que los pacientes no sienten dolor. En un primer estudio, encargado por la empresa fabricante de B, se comparan ambos medicamentos sobre 5 pacientes por grupo.

Aunque estrictamente esta sería una prueba de superioridad, que requeriría unos cálculos algo más complejos^{6, 7}, plantearemos una comparación básica entre los grupos mediante pruebas t. Los resultados  quedan reflejados en la Tabla 1.

Tabla1.- Comparación básica entre grupos. Estudio 1.

Es decir, el medicamento B aumenta de media el tiempo sin dolor 1.6 hs (22.3 hs el medicamento B respecto a 20.7 hs el A) pero la probabilidad de que estos resultados sean debidos al azar es muy alta (0.97); este resultado casi seguro es debido a que solo se han comparado los resultados en 10 pacientes, 5 por grupo. Sin embargo, son promisorios: el medicamento B parece funcionar mejor que el A, aunque los resultados no sean, como decimos, estadísticamente significativos.

Como dueño de la empresa que fabrica el medicamento B, encargo entonces un segundo estudio con la misma metodología, pero esta vez con 25 pacientes por grupo –es decir, un estudio algo más caro que el primero-. Los resultados son los reflejados en la Tabla 2.

Tabla 2.- Comparación entre grupos. Estudio 2

El medicamento B sigue siendo mejor (la diferencia del tiempo medio sin dolor esta vez es de 1.3hs, siendo más corto el A), y la p está algo por debajo de la significación estadística (p=0.4). Es decir: es suficientemente poco probable que estos resultados sean debidos al azar, por lo que entendemos que se debe a la diferencia entre los medicamentos. La explicación es que, como hemos usado 50 pacientes en total, es difícil que con tantos pacientes el azar intervenga en exceso. Obsérvese que las desviaciones estándar (ds) de ambos grupos son, en este segundo estudio, mayores que en el primero. Aun así, la significación es mayor.

Pero, como dueño de la empresa interesada en comercializar el medicamento B, quiero que mi significación sea aún menor, no quiero que nadie me diga que estos resultados pueden ser ni remotamente debidos al azar. Para ello, encargo otro estudio, esta vez con 500 pacientes por grupo –nótese, mucho más caro de llevar a cabo que los dos primeros-, cuyos resultados son los analizados en la Tabla 3.

Tabla 3.- Comparación entre grupos. Estudio 3

Como en los estudios anteriores, el medicamento B tiene mejor comportamiento que el A (una mejoría de 1.02 hs), esta vez con una p muy significativa. Es altamente improbable que este resultado sea debido al azar y podemos concluir que el medicamento B tiene mejor comportamiento que el A.

Puede verse, tras observar los desenlaces de estos tres estudios, que la p ha ido descendiendo hacia la significación a medida que ha ido aumentando el número de casos. Este descenso no es debido a cambios notables en la desviación estándar, que en todo caso ha ido haciéndose ligeramente mayor con cada estudio.

En una representación imaginaria ya utilizada en esta serie de artículos⁴, supongamos un duende en nuestro ordenador que está interpretando los datos de los tres estudios anteriores. Se dirá a sí mismo: de acuerdo, en el tercer estudio las diferencias entre los grupos son realmente pequeñas (1.02 hs de mejoría), menores que en los dos estudios anteriores, pero esta diferencia se ha encontrado utilizando un gran número de pacientes, y la desviación estándar es relativamente aceptable (2.5 hs). Estos resultados casi seguramente se deben a que hay diferencias reales entre los dos medicamentos: asignaré un p muy baja.

No es raro asistir a presentaciones científicas o conferencias en las que, al presentarse unos resultados de investigación que no son estadísticamente significativos se traduce casi como que son nulos. Esto es inapropiado, pues la no significación solamente quiere decir que los resultados pueden –probablemente– haber sido causados por el azar, no que no existan.

En el primer estudio mostrado en la Tabla 1 hay una mejora del medicamente B respecto a A (1,6 hs. menos de dolor de media). El efecto, la mejora, existe. Y el hecho de que no sea estadísticamente significativa no la hace desaparecer.

En términos estadísticos, la no significación no prueba la hipótesis nula (la hipótesis de que no hay diferencias)⁸. Solo la hace más creíble, en ese contexto: ya se ha visto que, simplemente aumentando el número de casos, dicha hipótesis se vuelve increíble.

Esta es una de las razones por las que la significación consensuada (p < 0.05) es actualmente tan contestada ^5,9,10 y por qué se ha extendido la exigencia del cálculo previo del tamaño muestral¹¹ y la interpretación de los resultados mediante el uso de los intervalos de confianza^12.

En los ejemplos anteriores se ve cómo el efecto (la mejora del tiempo sin dolor que buscamos con el medicamento B) disminuye con cada estudio: pasa de 1,6 a 1,3 a 1,02 hs., y ya hemos visto que, pese a ello, la significación ha ido disminuyendo: no es el tamaño –la importancia, la relevancia clínica– del efecto per se lo que hace que la significación sea mayor o menor.

Debe observarse que esto no tiene porqué ocurrir de esta manera en todos los casos: el tamaño del efecto podría ser menor en el primer estudio o mayor en el último. La ordenación actual de mayor a menor es debida al azar. Lo que es relevante es que el efecto puede ser menor, clínicamente menos importante, con una significación menor.

Este es uno de los conceptos clave: la significación estadística no se traduce necesariamente en relevancia clínica. Un efecto puede ser muy pequeño, incluso clínicamente irrelevante, pero su estudio puede dar unos resultados estadísticamente muy significativos, siempre que cuente con el suficiente número de casos.