Evaluación de artículos científicos sobre pruebas diagnósticas

Tabla1. Sesgos potenciales de los estudios sobre pruebas diagnósticas Mostrar/ocultar

Si queremos tomar las mejores decisiones en la elección y aplicación de pruebas diagnósticas para nuestros pacientes, tenemos que estar preparados para integrar nuestros conocimientos y experiencia previos con la información científica de los trabajos que continuamente vienen incorporándose a la literatura médica.  Para ello, necesitamos estar familiarizados con los parámetros que describen la validez y fiabilidad de las pruebas diagnósticas y aprender a evaluar la validez, relevancia y aplicabilidad de los estudios donde son estimados^11,12.

Evaluación de una prueba diagnóstica

Siguiendo las recomendaciones del Evidence-Based Medicine Working Group^13,14 analizaremos los tres pasos a seguir para analizar la VALIDEZ, la IMPORTANCIA  y la APLICABILIDAD (Tabla 2) de los artículos sobre pruebas diagnósticas, planteando diversas cuestiones^1,15,16.

• ¿Son válidos los resultados?
• ¿Cuáles son los resultados?
• ¿Son aplicables en tu medio?

1.- ¿Son válidos los resultados del estudio?

Cabe contestar a una serie de preguntas, clasificadas en criterios primarios (son preguntas de eliminación: si no se cumplen estos criterios primarios quizá no valga la pena continuar con la lectura) y secundarios (son preguntas más detalladas, que cabe realizar si se continúa con la lectura del artículo tras cumplir con los criterios primarios).

a.- Criterios primarios:

• ¿Existió una comparación ciega, independiente, con un patrón de referencia adecuado?: para saber si una prueba diagnóstica es útil sus resultados deberían compararse con la "verdad" (presencia o ausencia de enfermedad), en la práctica con otra prueba que actúa como patrón de referencia (gold standard), el cual debe estar reconocida como tal por la comunidad científica (por contar con una validez contrastada o, al menos, aceptada por consenso); este patrón de referencia se debe aplicar a toda la serie de casos estudiados y no tiene que incorporar información procedente de la prueba diagnóstica que se evalúa (sesgo de incorporación: evitar que el resultado de una de las pruebas pueda influir sobre la interpretación de los resultados de la otra). Si no se puede aceptar el estándar de referencia dentro de lo razonable, es poco probable que el artículo proporcione resultados válidos para sus objetivos.
  En relación con el patrón de referencia, resulta también importante considerar si es capaz de clasificar el estado de enfermedad en todas las observaciones. En el caso de  que existan observaciones con un diagnóstico indeterminado, si éstas son excluidas del análisis, se producirán estimaciones sesgadas de las características operativas de la prueba diagnóstica. Este sesgo, conocido como sesgo por exclusión de indeterminados, ocasiona habitualmente sobrestimaciones de la sensibilidad y de la especificidad.
• ¿Incluyó la muestra de pacientes a un espectro adecuado de pacientes a los cuales en la práctica clínica se aplicará la prueba diagnóstica?: el valor real de una prueba diagnóstica sólo se establece en un estudio que es lo más parecido a la práctica clínica, por lo que es conveniente que incluya pacientes con sospecha de enfermedad, que incluyan sujetos enfermos (con distinta gravedad) y sanos. El artículo debe definir explícitamente los criterios de selección ya que, si bien la sensibilidad y especificidad son relativamente constantes independientemente de la prevalencia de la enfermedad, los valores predictivos, y por tanto la utilidad de la prueba para el lector, están muy influidos por ella.

b- Criterios secundarios:

• ¿Influyeron los resultados de la prueba diagnóstica en la decisión de realizar el patrón de referencia?: conviene evitar los sesgos de secuencia y de revisión.
  Evitar el sesgo de secuencia (verificación diagnóstica o verification bias): el diseño del estudio debe tratar de garantizar que en la muestra no se hayan excluido pacientes, en función del resultado de la prueba o de la existencia de mayor o menor riesgo de enfermedad. Incurriremos en un sesgo de verificación diagnóstica cuando la probabilidad de que se les realice el patrón de referencia sea menor entre los sujetos con la prueba diagnóstica negativa y por lo tanto sea menos probable que éstos entren en el estudio. Todos los sujetos deben haber sido sometidos tanto a la nueva prueba como a la de referencia; sin embargo, en algunos estudios (sobre todo cuando el patrón de referencia es una prueba invasiva) solamente se aplica a los sujetos en los que se ha obtenido un resultado positivo de la prueba que se estudia. En los estudios de cohortes se acepta el criterio si a todos los sujetos se les practica la prueba diagnóstica y el patrón de referencia; en los estudios de casos y controles en los que la prueba diagnóstica precede a la prueba de referencia, se cumple el estándar si la verificación de la enfermedad se realiza en una serie consecutiva de pacientes con independencia del resultado de la prueba diagnóstica; en los estudios de casos y controles en los que la prueba de referencia precede a la prueba diagnóstica, el crédito se obtiene cuando los resultados de ésta son estratificados de acuerdo con los factores clínicos que potencialmente condicionan la indicación de la prueba de referencia.
  Evitar el sesgo de revisión (valoración ciega o review bias): tanto la nueva prueba como la de referencia deben haber sido realizadas de forma independiente y ciega, para evitar la interpretación subjetiva de una prueba influida por el conocimiento del diagnóstico o de las características clínicas del paciente. Para estudios de cohortes prospectivos en los que el paciente recibe primeramente la prueba diagnóstica, el estándar es aceptado si la prueba de referencia se evalúa independientemente, es decir, sin conocer el resultado de la prueba diagnóstica; en estudios prospectivos donde la prueba de referencia precede a la prueba diagnóstica y en los estudios de casos y controles, se cumple el estándar si figura una afirmación de la independencia de interpretación de los datos.
• ¿Se describieron los métodos para realizar el examen con el suficiente detalle para permitir su reproducción?: valorar si es adecuada la descripción del procedimiento de realización de la prueba diagnóstica, el estudio de su reproducibilidad y la definición del término normal y/o anormal, así como la justificación del criterio de normalidad elegido, y el análisis e interpretación de sus resultados.

Si después de considerar todos estos aspectos hemos decidido que el estudio es suficientemente válido, procederemos a examinar las propiedades de la prueba diagnóstica.

2- ¿Cuáles son los resultados del estudio?

El proceso diagnóstico es en esencia un cálculo de probabilidades. La utilidad de una prueba diagnóstica depende de su validez y de su fiabilidad. La finalidad del análisis es cuantificar la capacidad de una prueba diagnóstica para clasificar correcta o incorrectamente a una persona según la presencia o ausencia de una enfermedad.
El punto de partida del proceso diagnóstico es habitualmente un paciente, con unas características de gravedad y comorbilidad concretas, que le confieren una probabilidad determinada de tener la entidad a diagnosticar (probabilidad preprueba). El objetivo de la realización de la prueba diagnóstica es, una vez conocido el resultado, modificar esa probabilidad hasta obtener una probabilidad postprueba. La magnitud y dirección de ese cambio va a depender de las características operativas de la prueba diagnóstica, pero en todo caso debemos tener en cuenta que el punto de partida, la probabilidad preprueba, va a resultar muy importante en ese proceso.

• ¿Se han presentado los cocientes de probabilidad o los datos para calcularlos?
  Para poder evaluar la validez de una prueba diagnóstica se requiere un patrón de referencia; el grado de acuerdo entre la prueba diagnóstica y el patrón de referencia puede ser representado en una tabla de contingencia, de donde se obtiene la sensibilidad (S), especificidad (E), valor predictivo positivo (VPP) y valor predictivo negativo (VPN).
  La S considera la validez de la prueba entre los enfermos (corresponde a la probabilidad de que un individuo con la enfermedad tenga un resultado positivo de la prueba) y la E la validez de la prueba entre los sanos (corresponde a la probabilidad de que un individuo sin la enfermedad tenga un resultado negativo de la prueba). Los valores complementarios de la S y la E corresponden a las probabilidades de los resultados falsos negativos y falsos positivos, respectivamente. Cuando una prueba tiene una S muy alta, un resultado negativo sirve para descartar la enfermedad (la probabilidad de un falso negativo es muy pequeña); si la prueba tiene una E muy alta, un resultado positivo es prácticamente diagnóstico (la probabilidad de un falso positivo es muy pequeña).
  S y E son propiedad intrínseca de las pruebas diagnósticas, que presentan una relación recíproca entre ambas y cuyos resultados son independientes de la prevalencia de la enfermedad, a diferencia de los valores predictivos: así, cuanto mayor sea la prevalencia de la enfermedad mayor será el VPP y menor el VPN; los valores predictivos tienen una utilidad postprueba.
  Todos estos estimadores de validez pueden ser aplicados a pruebas con resultados discretos con más de dos categorías e incluso a resultados expresados en variables continuas. En este caso podemos establecer puntos de corte para convertir el resultado en una variable discreta con dos o más categorías. Otra alternativa que permite explorar la capacidad diagnóstica de una prueba en sus distintos valores son las curvas ROC (iniciales del término inglés original Receiver Operating Characteristics), con las que podemos conocer su validez global y seleccionar el punto o puntos de corte más adecuados. Es frecuente encontrar trabajos en los que se selecciona un punto de corte desplazado de su punto medio, con la intención de maximizar sensibilidad a expensas de reducir especificidad, o viceversa; en estos casos, podemos estar limitando la aplicabilidad de la prueba ya que dichos valores sólo le serán útiles a una parte de los pacientes.  Las curvas ROC permiten obtener un gráfico en el que se observan todos los pares S/E resultantes de la variación continua de los puntos de corte; las curvas ROC permiten explorar la capacidad diagnóstica de la prueba en sus distintos valores, de manera que podamos conocer su validez global y seleccionar el punto o puntos de corte más adecuados.
  Una forma alternativa de describir el comportamiento de una prueba diagnóstica son los cocientes de probabilidades (CP) -o razón de verosimilitudes, en inglés, likelihood ratio-, definidos como la probabilidad de dicho resultado en presencia de enfermedad divididas por la probabilidad de dicho resultado en ausencia de enfermedad. Para el escenario más simple tenemos dos tipos: cociente de probabilidades de un resultado positivo (CP+) = S/(1-E) y cociente de probabilidades de un resultado negativo (CP-) = (1-S)/E. Dado que los CP relacionan la S y la E, no varían con la prevalencia. Los CP adoptan valores entre 0 e infinito, siendo el valor nulo el 1, y cuya interpretación se valora según los criterios expresados en la tabla 3.

   

  Tabla3. Interpretación de los cocientes de probabilidad Mostrar/ocultar

  CP+ >10 ó CP- <0,1	generan cambios amplios y a menudo concluyentes desde una probabilidad preprueba hasta una probabilidad postprueba
  CP+ 5 - 10 y CP – 0,1-0,2	generan cambios moderados desde la probabilidad preprueba hasta la probabilidad postprueba
  CP+ 2 - 5 y CP- 0,5 – 0,2	generan cambios pequeños (pero en en ocasiones importantes) de la probabilidad
  CP+ 1 - 2 y CP- 0,5 - 1	alteran la probabilidad en un grado insignificante (y rara vez importante)
  CP+: cociente de probabilidad positivo; CP-: cociente de probabilidad negativo * Según el Evidence-Based Medicine Working Group
  Ocultar

  Consideremos el escenario diagnóstico más simple, en el que tanto el patrón de referencia como la prueba diagnóstica clasifican a los pacientes en dos grupos, en función de la presencia o ausencia de un síntoma, signo o enfermedad. Utilizando los CP se pueden calcular las probabilidades postprueba (valores predictivos) a partir de la probabilidad preprueba de cada paciente individual, que habitualmente no es la misma que la existente en los estudios publicados. La relevancia de la prueba va a depender de cuánto sea capaz de incrementar o disminuir esa probabilidad, una vez aplicados los CP positivo o negativo. Generalmente CP positivos cercanos a 10 y negativos cercanos a 0,1 resultan clínicamente relevantes, aunque finalmente serán las probabilidades postpruebas ajustadas a mi paciente las que indicarán el grado de relevancia diagnóstica.
  El CP es una medida de gran utilidad en la práctica clínica, ya que la principal utilidad es que permite calcular la probabilidad postprueba (Ppost = probabilidad de que un sujeto tenga la enfermedad si obtiene un resultado positivo en la prueba o VPP ajustado) a partir de cualquier probabilidad preprueba (Ppre = probabilidad de que un sujeto tenga la enfermedad antes de aplicarle la prueba) o prevalencia, y de esta forma evaluar cuánto puede ganarse si se realiza. El objetivo de la realización de la prueba diagnóstica es, una vez conocido el resultado, modificar esta Ppre hasta obtener una Ppost; la magnitud y dirección de ese cambio va a depender de las características operativas de la prueba diagnóstica, pero en todo caso debemos tener en cuenta que el punto de partida, la Ppre, va a resultar muy importante en ese proceso.
  Para poder operar con los CP en el cálculo de probabilidades, éstas deben transformarse en ventajas (odds); los pasos a seguir son: 1) transformar la Ppre en odds preprueba = Ppre/1-Ppre; 2) obtener la odds postprueba = CP+ x odds preprueba; 3) obtener la Ppost= odds postprueba/1 + odds postprueba. La diferencia que exista entre la Ppre y Ppost informa de la utilidad que tiene una determinada prueba diagnóstica; a mayor diferencia entre una y otra probabilidad mayor contribución de la prueba al proceso diagnóstico. Afortunadamente existen un modo más simple de realizar estos cálculos (nomograma de Fagan- ver figura 2).

  Figura 2. Nomograma de Fagan Mostrar/ocultar

  

  Una de las ventajas de los CP es que si la prueba tiene más de dos resultados posibles, se puede calcular un CP para cada uno de ellos, permitiéndonos interpretar la contribución al diagnóstico de cada resultado. Otra de las ventajas radica en que los CP facilitan el cálculo de las modificaciones de probabilidad obtenidas al aplicar en serie varias pruebas diagnósticas, recurso frecuentemente empleado en la práctica clínica y en los estudios de análisis de decisión.
  En la tabla 4 se expresan los indicadores de validez de una prueba diagnóstica, a través de los resultados de un estudio hipotético sobre la utilidad de una prueba diagnóstica, utilizando su patrón de referencia.

Tabla 4. Medidas de utilidad de una prueba diagnóstica Mostrar/ocultar

En este proceso de cálculo, puede resultar problemático estimar adecuadamente la Ppre o prevalencia; debería hacerse a partir de la propia experiencia acumulada, de forma que sea específica del entorno de trabajo; sin embargo, habitualmente se dispone de poca información sobre estos aspectos; cuando no se está muy seguro de la fiabilidad de la estimación, puede ser conveniente analizar las implicaciones sobre la práctica que puede tener el considerar diferentes valores plausibles de las Ppre.
¿Cuán precisos son los resultados?: la fiabilidad de una prueba viene determinada por la estabilidad de sus mediciones cuando se repite en condiciones similares. La variabilidad de las mediciones va a estar influida por múltiples factores que interesa conocer y controlar. Entre ellos, tiene especial importancia distinguir las variaciones de interpretación intraobservador e interobservador. La fiabilidad puede ser evaluada para resultados discretos nominales mediante el índice kappa (IK),  para resultados discretos ordinales mediante el índice kappa ponderado y para resultados continuos mediante el coeficiente de correlación intraclase y el método de Bland-Altman. El IK nos ofrece una estimación del grado de acuerdo no debido al azar a partir de la proporción de acuerdo observado (Po) y la proporción de acuerdo esperado (Pe)= Po-Pe/ 1-Pe.
El IK puede adoptar valores entre -1 y + 1: es 1 si existe un acuerdo total, 0 si Po es igual a Pe y menor de 0 si Po es inferior a Pe por azar. La interpretación más aceptada de los rangos de valores del IK son: 0,81-1 = excelente, 0,61 – 0,80 = buena, 0,41 – 0,60  = moderada, 0,21 – 0,40 = ligera, <=0,20 = mala.
¿Cuán precisos son los resultados?: al igual que en otros tipos de estudios, la valoración de la validez de las pruebas diagnósticas se hace sobre muestras, por lo que los resultados obtenidos son sólo estimaciones puntuales, sujetas a variabilidad aleatoria, y por lo tanto deben expresarse con sus intervalos de confianza (IC); estos IC tendrán que ser aplicados en el cálculo de la Ppost para poder juzgar la utilidad de la prueba diagnóstica.

Los estudios de evaluación de pruebas diagnósticas proporcionan conocimiento imprescindible para el uso de la probabilidad en el diagnóstico. Para que este conocimiento sea válido e importante se requiere saber los posibles errores a evitar y un diseño específico que optimice el esfuerzo investigador, y para que se incorpore este conocimiento a la  práctica clínica es preciso disponer de la capacidad de juicio que permita una lectura crítica de las publicaciones sobre pruebas diagnósticas, tal como se ha pretendido en este capítulo.

3- ¿Son aplicables en tu medio?

El hecho de que una prueba diagnóstica determinada sea apropiada, no significa que todos los pacientes puedan utilizar el diagnóstico. Para ellos nos podemos preguntar¹⁷:

• ¿La prueba está disponible y es reproducible, tanto en la realización como en la interpretación, para los pacientes de mi ámbito?: las propiedades de la prueba pueden cambiar según se apliquen a grupos de sujetos con una distribución diferente de estadios de la enfermedad o de otras enfermedades concomitantes que puedan interferir en el diagnóstico. Cuando se aplica a pacientes con la enfermedad en estadios avanzados el CP+ se aleja de 1 (aumenta la sensibilidad), mientras que si son de estadios menos avanzados, el CP+ se aproxima a 1 (disminuye la sensibilidad). Si los pacientes de mi ámbito cumplen los criterios de inclusión y exclusión de los sujetos del estudio, los resultados de la prueba serán aplicables; pero si no los cumplen, deben valorarse los motivos por los que podría pensarse que los resultados no son aplicables; para la generalización de los resultados siempre es útil disponer de alguna revisión que interprete la información de diferentes estudios.
  Obviamente, no puede aplicarse en la práctica una prueba que no esté disponible ni sea asequible en el propio entorno. Pero aunque lo sea, es conveniente evaluar su reproductibilidad, de la que depende en gran medida su utilidad. Debe constar la reproductibilidad de la prueba en el artículo, especialmente cuando ésta comporte cierto grado de subjetividad en su realización o interpretación.
• ¿Puede generarse una estimación clínicamente razonable de la Ppre de nuestro paciente?: ya ha sido comentado que la utilidad del CP depende de que pueda disponerse de una estimación adecuada de la Ppre de un paciente concreto. La situación ideal es aquella en la que se dispone de datos del propio centro, pero en otras ocasiones esta estimación puede obtenerse de la propia experiencia o de la especulación clínica, o valorando las diferencias entre las características de nuestro paciente y las de los sujetos estudiados (en este último caso es conveniente realizar análisis de sensibilidad, aplicando varias Ppre clínicamente razonables y determinando su impacto sobre la utilidad de la prueba).
• ¿La Ppost resultante puede hacer cambiar la actuación en la práctica clínica y ayudar a nuestro paciente?:  si la prueba fuera negativa o se obtuviera un CP negativo sensiblemente inferior a 1, la Ppost podría ser tan reducida que hiciera descartar el diagnóstico y no realizar más pruebas; si la prueba fuera positiva u ofreciera un CP+ muy elevado, la Ppost podría ser tan elevada que se consideraría diagnóstica y tampoco sería necesario realizar más pruebas; si la prueba condujera a una situación intermedia entre las dos anteriores, debería plantearse la necesidad de realizar nuevas pruebas. Este cálculo es adecuado siempre que las pruebas sean independientes, hecho que suele ser difícil de asumir en la práctica, por lo que el lector deberá ser más exigente a la hora de interpretar los valores de la Ppost.
  La utilidad clínica de la prueba depende también de la repercusión que tengan sobre nuestra actitud diagnóstica y terapéutica ; en ocasiones la Ppre de nuestro paciente será tan baja que, independientemente cuál sea el resultado de la prueba, la Ppost será igualmente baja y por lo tanto no merecerá la pena llevarla a cabo (umbral diagnóstico); en el otro extremo, si la Ppre es muy elevada, su resultado no va a cambiar nuestra decisión de tratar (umbral terapéutico), por lo que a veces podremos obviarla; es en la zona intermedia donde más interés debería tener la prueba, pues el grado de información que nos aporta dependerá de la magnitud de los CP: valores cercanos a 1 resultarán poco útiles, mientras que valores lejanos modificarán de forma importante la Ppost y su rendimiento diagnóstico.

Pero el criterio último de la utilidad de una prueba, al margen de que ésta ofrezca información diagnóstica no disponible previamente o de que modifique nuestro comportamiento clínico, es si el paciente obtiene algún beneficio. Existen escenarios en los que la prueba diagnóstica no resulta coste-efectiva, conlleva riesgos, o conduce a decisiones terapéuticas sin repercusión sobre el paciente.
A la hora de decidir qué prueba diagnóstica se va a utilizar, es conveniente tener en cuenta los valores y preferencias del paciente, ya que algunas pruebas implican procedimientos invasivos o molestos, por lo que es básico que el paciente esté informado y dispuesto a colaborar.
El objetivo de aplicar una nueva prueba diagnóstica es obtener información diferente a la ya disponible que sea beneficiosa para mi paciente. La utilidad de una prueba es indiscutible cuando la enfermedad, si no se diagnostica, comporta un peligro para la vida del paciente, la prueba no produce efectos adversos importantes y existe un tratamiento efectivo para esa enfermedad.