Palabras clave
INTRODUCCIÓN
A pesar de las ventajas evidentes de usar bases de datos administrativas (bajo coste y rapidez en la extracción de datos) para la evaluación de intervenciones médicas, todavía presentan limitaciones importantes. Primero, la dificultad de incorporar en el ajuste factores de confusión que pueden no estar codificados (p. ej., indicadores de gravedad como la clasificación del grado funcional o de proceso asistencial, como la urgencia y emergencia de la intervención más allá de si el ingreso está programado o no). Segundo, la dificultad para distinguir entre los diagnósticos correspondientes a comorbilidades de los correspondientes a complicaciones durante el ingreso hospitalario antes o después del procedimiento en evaluación. Y tercero, todos los problemas derivados de inexactitudes y omisiones de datos en los informes de alta hospitalaria.
El Conjunto Mínimo Básico de Datos (CMBD) al alta hospitalaria1 es un registro poblacional que recoge información sobre la patología atendida en los hospitales de agudos españoles mediante la asignación de un código internacional de enfermedades (CIE-9)2 específico a cada diagnóstico y cada procedimiento registrado en el alta hospitalaria correspondiente a cada ingreso. Todos los centros públicos y privados españoles notifican dichos datos, de forma obligatoria, con el objetivo de disponer de un banco de datos exhaustivo y válido sobre la actividad y la morbilidad sanitaria, útil para la planificación, la evaluación de recursos y la compra de servicios. En nuestro contexto, el CMBD ha demostrado ser útil para estudios epidemiológicos de estimación de incidencias poblacionales y resultados simples como la mortalidad o la tasa de realización de procedimientos3-6, así como para el estudio de las variaciones en la práctica clínica4,7. Sin embargo, su uso para evaluación de resultados de intervenciones terapéuticas es más controvertido8. Aunque sí se ha utilizado para la predicción de la mortalidad hospitalaria en cirugía cardiaca9, no se ha comparado la fiabilidad de la predicción con la derivada de datos prospectivos de estudios específicos. Existen numerosos estudios que comparan la información de bases de datos administrativas con la recogida en bases de datos clínicas o registros específicos, pero la mayoría en Estados Unidos10-12 y Canadá13, donde el sistema de registro y codificación puede ser distinto del español. Recientemente se ha comprobado, en el Reino Unido14, que las bases de datos administrativas pueden usarse para predecir el riesgo en tres intervenciones de gran impacto (la cirugía de derivación aortocoronaria, la reparación de aneurisma abdominal aórtico y la cirugía de cáncer colorrectal) con una capacidad de discriminación y calibración similar a la obtenida mediante registros clínicos.
Los objetivos del presente estudio son: a) evaluar la capacidad del CMBD para predecir la mortalidad hospitalaria después de una primera intervención de derivación aortocoronaria sin otras intervenciones asociadas, utilizando como referencia los datos obtenidos de forma prospectiva en el mismo grupo de enfermos en un estudio específicamente diseñado para este fin (estudio ARCA15) y sometido a controles de calidad, y b) analizar la concordancia entre ambas fuentes de información en las variables importantes para la predicción del riesgo quirúrgico.
MÉTODOS
Base de datos de un estudio observacional prospectivo
Entre noviembre de 2001 y noviembre de 2003, se recogieron prospectivamente los datos de todos los pacientes de la sanidad pública a los que se indicaba una primera intervención de derivación aortocoronaria sin otras intervenciones asociadas, en cinco hospitales de Cataluña (tres hospitales de gestión pública y los dos únicos centros de gestión privada en los que se opera a pacientes procedentes de la sanidad pública). En cada centro, un miembro del equipo quirúrgico o del servicio de cardiología revisaba las programaciones para cirugía coronaria y rellenaba el cuestionario de recogida de datos, según un manual de procedimientos diseñado al efecto, mediante entrevista con el paciente y revisión de la historia clínica e informes de alta.
Se realizaron controles de calidad de la recogida de datos mediante revisión de una selección aleatoria del 10% de las historias clínicas por un investigador externo y mediante comparación con la base de datos del CMBD al alta hospitalaria.
Base de datos administrativa
El CMBD recoge, entre otros datos, la información clínica del alta hospitalaria de forma codificada según la Novena Revisión de la Clasificación Internacional de Enfermedades, Modificación Clínica (CIE-9-MC)2. Hasta el año 2002 recogía un diagnóstico principal considerado como motivo principal de ingreso y hasta tres diagnósticos secundarios y un procedimiento principal y hasta tres procedimientos secundarios. A partir de 2003, un diagnóstico principal y hasta nueve diagnósticos secundarios y un procedimiento principal y hasta siete procedimientos secundarios.
Se solicitó al Servei Català de la Salut el Registro de Altas (CMBD) correspondiente a los cinco centros participantes en el período de inclusión de pacientes del estudio prospectivo en los que aparecía como procedimiento el código 36.1 (anastomosis de derivación para revascularización miocárdica), excluyendo los registros que además contenían los procedimientos con códigos v45.81 (estado de desviación aortocoronaria) y 35 (operaciones de válvulas y septos del corazón), para equiparar la selección de registros con los criterios de inclusión del estudio prospectivo: primera intervención de derivación aortocoronaria aislada sin otras intervenciones asociadas.
Se solicitó además el CMBD correspondiente a los cinco hospitales participantes con los mismos criterios de selección de códigos de procedimientos, pero de los años 2004-2006, con la finalidad de realizar una validación externa del modelo predictivo generado a partir de la primera cohorte en el mismo CMBD.
Cruce de las bases de datos
Se cruzaron la base de datos del CMBD 2001-2003 con la base de datos obtenidos en el estudio ARCA, definiendo como clave primaria el centro, el número de historia clínica y la fecha de alta y permitiendo una diferencia de ±1 mes en la fecha de alta. Debido a errores en la entrada del número de historia clínica, se definió una segunda clave a partir del centro, la fecha de nacimiento y la fecha de alta.
Análisis de la concordancia
Para analizar la concordancia de la información recogida entre ambas fuentes se seleccionaron los diagnósticos y procedimientos con definiciones equivalentes a las variables recogidas en el estudio ARCA (tabla 1). Hay que tener en cuenta que las definiciones de las variables no siempre coinciden entre ambas bases de datos y que a menudo son más precisas en el estudio prospectivo. Por ejemplo: la insuficiencia renal (códigos 585: insuficiencia renal crónica, y 586: insuficiencia renal inespecificada) se definía en el estudio prospectivo como una concentración de creatinina 3 1,5 mg/dl. La intervención urgente se definía en el estudio prospectivo como la que se realizaba durante el mismo ingreso en que se indicaba la cirugía. En el CMBD no existe esta variable, pero se registra la circunstancia de admisión (programada o urgente).
Se calcularon la sensibilidad y la especificidad de cada diagnóstico considerando como referencia la presencia de cada factor en la base de datos ARCA y el índice kappa para valorar la concordancia entre ellos. Se clasificaron los casos no concordantes en: errores por omisión (casos en que se recogió la información en el estudio ARCA pero no en el CMBD) y errores de codificación (casos en que se codificó el diagnóstico en el CMBD cuando éste no se había registrado en el estudio ARCA).
Paralelamente se calculó el porcentaje de datos coincidentes en cada registro y se comparó el porcentaje medio de coincidencia según el año del alta hospitalaria y el centro de procedencia.
Modelos predictivos
Se construyeron modelos predictivos de mortalidad hospitalaria mediante regresión logística: un modelo derivado de los datos del estudio ARCA (modelo ARCA) y un modelo derivado de los datos del CMBD 2001-2003 (modelo administrativo). Para cada modelo se calcularon los parámetros de discriminación y calibración.
La discriminación indica la capacidad del modelo para diferenciar a los pacientes que tendrán un resultado determinado de los que no lo tendrán. Ésta se evaluó mediante el cálculo del estadístico C equivalente al área bajo la curva ROC; c = 1 indica una discriminación perfecta, mientras que c = 0,5 equivale a nula capacidad de discriminación; c 3 0,7 puede considerarse aceptable.
La calibración se refiere al grado de concordancia entre la predicción del riesgo (casos esperados) y la incidencia real (casos observados) de mortalidad en todos los estratos de riesgo. Ésta se evaluó mediante el estadístico de bondad del ajuste de Hosmer-Lemeshow: los datos se agruparon en deciles de la probabilidad estimada por el modelo y se comparó la mortalidad observada con la esperada en cada decil mediante el estadístico c2. Cuanto mayor es la diferencia entre el resultado esperado y el observado, mayor es el valor de c2 y menor su valor de p, de manera que valores de p bajos indican peor capacidad de calibración del modelo.
El modelo administrativo se validó utilizando los datos del estudio ARCA como referencia mediante dos procedimientos. Primero, se reestimaron los parámetros utilizando las variables equivalentes recogidas en el estudio ARCA y se evaluó su validez mediante el cálculo de la discriminación y la calibración. Segundo, se aplicó el modelo administrativo (variables predictoras y coeficientes obtenidos mediante datos administrativos) a los datos recogidos en el estudio ARCA.
Paralelamente se validó el modelo administrativo utilizando como cohorte de validación la segunda cohorte del CMBD 2004-2006, mediante los mismos procedimientos.
RESULTADOS
Se analizaron los 1.508 casos coincidentes en ambas bases de datos (el 95,9% de los casos recogidos en la base de datos del ARCA). Hubo 65 (4,1%) casos incluidos en el estudio ARCA que no se localizaron en el CMBD. Estos casos no coincidentes tenían una mortalidad hospitalaria significativamente superior a la de los casos coincidentes (el 12,3 frente al 4,5%).
La proporción en la que se registraron la mayoría de los diagnósticos fue mayor en la base de datos del ARCA (tabla 2), con diferencias destacables en variables importantes para la evaluación del riesgo quirúrgico (p. ej., la insuficiencia renal, el infarto previo o la enfermedad vascular periférica).
En la tabla 3 se muestra la concordancia y la validez de los diagnósticos y procedimientos registrados en el CMBD tomando como referencia los del estudio ARCA. En la mayoría de los diagnósticos se halló una especificidad alta (entre 0,84 y 0,99) y una sensibilidad muy variable (entre 0,14 y 0,99), aunque en general fue muy baja (< 0,60 en el 77% de los diagnósticos). El índice kappa fue muy variable: hubo una concordancia casi perfecta en el caso de variables no codificadas, como el sexo y la mortalidad, moderada para algunos diagnósticos (hipertensión arterial, diabetes, infarto agudo de miocardio, enfermedad pulmonar obstructiva crónica), procedimientos (cirugía con circulación extracorpórea) y complicaciones (infección postoperatoria) pero < 0,30 en otros diagnósticos importantes para la evaluación del riesgo quirúrgico (angina inestable, insuficiencia cardiaca, insuficiencia renal y enfermedad vascular periférica). En la mayoría de los diagnósticos, la mayor parte de las discordancias del CMBD se producían por omisión del diagnóstico, pero en algunos, el porcentaje de errores de codificación era grande (fumadores, infarto antiguo, uso de circulación extracorpórea).
El porcentaje de coincidencia del total de diagnósticos y procedimientos fue significativamente mayor en los datos correspondientes a 2003 que en los correspondientes a 2001 y 2002, y en los datos procedentes de centros de gestión pública más que en los de gestión privada (tabla 4).
En la tabla 5 se presentan las odds ratio (OR) para mortalidad hospitalaria y sus intervalos de confianza (IC) del 95%, así como los parámetros de discriminación y calibración para el modelo ARCA y para el modelo administrativo de 2001 y 2003. Se presenta además la estimación de las OR del mismo modelo administrativo aplicado a los datos del ARCA y a los datos administrativos de una cohorte posterior, así como los parámetros de discriminación para ambas validaciones.
Mientras que el modelo administrativo aplicado a los datos del ARCA obtuvo un notable índice de discriminación (área bajo la curva ROC, 0,77; IC del 95%, 0,71-0,83), éste descendió bastante con los datos del CMBD de la cohorte de 2004-2006 (área bajo la curva ROC, 0,71; IC del 95%, 0,62-0,81). Del mismo modo, la validación externa fue mejor para el modelo administrativo aplicado a los datos del ARCA (área bajo la curva ROC, 0,76; IC del 95%, 0,70-0,82) que la obtenida cuando se aplicó en los datos del CMBD de la cohorte posterior (área bajo la curva ROC, 0,65; IC del 95%, 0,56-0,74).
En la figura 1 se muestra el número de muertes esperadas respecto a las observadas en los distintos deciles de riesgo (calibración) de los dos modelos (administrativo y ARCA) y del modelo administrativo aplicado a los datos del ARCA. Se observa que, cuando aplicamos el modelo administrativo a los datos de referencia, éste tiende a sobrestimar el riesgo de forma importante, sobre todo en los estratos de mayor riesgo.
Fig. 1. Calibración del modelo ARCA, del modelo administrativo: CMBD, y del modelo administrativo aplicado a datos prospectivos: CMBD (ARCA).
En la figura 2 se muestra la calibración del modelo administrativo aplicado a la cohorte de datos administrativos 2004-2006. También aquí se observa que el modelo administrativo sobrestima el riesgo de la segunda cohorte, sobre todo en los estratos de mayor riesgo.
Fig. 2. Calibración del modelo administrativo (CMBD 2001-2003) y del modelo administrativo aplicado a la cohorte de datos administrativos CMBD 2004-2006.
DISCUSIÓN
En la evaluación de procedimientos médicos podemos disponer de varias fuentes de información: registros administrativos, registros clínicos de cumplimentación sistemática y registros diseñados para estudios específicos. Aunque estos últimos son mucho más fiables (sobre todo cuando se someten a controles de calidad), tienen un coste mayor, por lo que no pueden ser permanentes ni exhaustivos en todo un territorio o sistema sanitario. Por esta razón se ha señalado en múltiples ocasiones que las bases de datos administrativas tienen un gran potencial para la evaluación de tecnologías sanitarias8, pero tienen también importantes limitaciones derivadas, sobre todo, de no haber sido diseñadas para este fin.
El mejor sistema para evaluar la utilidad de los datos es disponer de información paralela válida y fiable, como en el trabajo de Aylin et al14. Esta valoración no se ha realizado en nuestro medio. Por ello la existencia de una evaluación previa15 de los resultados de la cirugía de derivación aortocoronaria realizada en nuestro ámbito nos ha permitido disponer de una referencia para estimar la fiabilidad de los datos administrativos y su potencialidad para la estimación del riesgo en cirugía coronaria. A su vez, hemos podido valorar el modelo predictivo obtenido a partir de los datos administrativos en 2001-2003 aplicándolo a una cohorte posterior (2004-2006), de la que también disponemos de datos administrativos.
En primer lugar, los resultados de este estudio reflejan una calidad de los datos del CMBD globalmente baja: un 4% de los casos identificados prospectivamente no se registraron en el CMBD y tenían una mortalidad hospitalaria significativamente mayor que la de los datos coincidentes, de forma que, en el estudio presente, la mortalidad registrada en el CMBD puede estar subestimada. La concordancia fue realmente buena sólo en variables «duras», no sujetas a codificación, como el sexo y la mortalidad hospitalaria. Al igual que en otros estudios parecidos16, la especificidad de los diagnósticos codificados mediante CIE-9-MC fue alta, pero la sensibilidad, muy variable. La concordancia fue globalmente baja, con errores sobre todo atribuibles a omisión de la información en el CMBD. En algunos casos, sin embargo, es muy importante la proporción de errores de codificación, es decir, casos en que aparece el diagnóstico en el CMBD pero no se ha confirmado de forma prospectiva. Destaca que suceda en variables clínicamente relevantes y fácilmente identificables, como el infarto de miocardio, la insuficiencia renal, la enfermedad pulmonar obstructiva crónica o el uso de circulación extracorpórea.
Paradójicamente, esta calidad globalmente baja no se corresponde con una mala predicción del riesgo de la mortalidad hospitalaria. Por el contrario, la predicción mediante el modelo derivado de datos administrativos es tan buena, en términos de discriminación y calibración, como la obtenida mediante datos prospectivos (área bajo la curva ROC = 0,80 y buena calibración) y parecida a la que se observa en otros estudios14,17. Una posible explicación de esta aparente paradoja puede derivarse de que algunas variables clínicas importantes para la predicción del riesgo tienden a codificarse exageradamente en determinados casos. Esto también explicaría que las OR sean mayores en el modelo administrativo (sobre todo para insuficiencia cardiaca e insuficiencia renal).
La sobrecodificación puede deberse a distintos motivos: a) que en las altas hospitalarias de pacientes fallecidos se registre con más probabilidad la presencia de enfermedades concomitantes; b) como ya se ha señalado en otros estudios17, en algunos casos puede que el CMBD no distinga entre complicaciones posquirúrgicas y antecedentes patológicos, aun cuando su diseño sí lo permite para ciertos diagnósticos como la insuficiencia cardiaca y la insuficiencia renal (tabla 1). Éste no es el caso de otros factores típicamente relacionados con el pronóstico, como el infarto de miocardio reciente, que no puede distinguirse de un infarto peroperatorio, y c) es probable que en las altas hospitalarias, y como consecuencia en el CMBD, sólo se registren dichas comorbilidades cuando son más graves o importantes, por ejemplo, insuficiencia renal con creatininas realmente elevadas (muy por encima de 1,5 mg/dl, que es el criterio utilizado en escalas de riesgo convencionales y el que se utilizó en el estudio ARCA), por lo que la predicción de la mortalidad a partir de estas variables en el CMBD esta sobrestimada.
En cambio, los diagnósticos que no están teóricamente relacionados con la gravedad del paciente (hipercolesterolemia, hipertensión o tabaquismo, por ejemplo) tienden a codificarse más en pacientes con menor riesgo (los pacientes con el código correspondiente a hipercolesterolemia eran el 46% del grupo de riesgo bajo según la puntuación del EuroSCORE y el 19% del grupo de riesgo alto; resultados no presentados). Este hecho podría explicarse por la mayor disponibilidad de espacio para registrar códigos de diagnósticos menos relevantes en pacientes con menor riesgo y, por lo tanto, con menor número de diagnósticos relevantes o de mayor gravedad.
No debe olvidarse que, en contraste con los estudios específicos, las definiciones de las variables en el CMBD son imprecisas y, probablemente, sufren mayor variabilidad. En general puede deducirse que hay una relación entre el riesgo quirúrgico y el patrón de codificación, y se codifican más los diagnósticos más graves en pacientes de más riesgo y los menos graves en pacientes de menos riesgo.
Esta relación entre el riesgo quirúrgico y el patrón de codificación explicaría la pérdida de capacidad predictiva y la falta de calibración (sobrestimación) cuando el modelo administrativo se validó con datos prospectivos. La pérdida de validez es todavía mayor cuando se aplica a una cohorte posterior del CMBD (2004-2006), en la que hallamos un valor del área bajo la curva ROC de 0,65 (valor no muy distinto del observado en otros estudios9,10). Dos hechos pueden explicar, al menos parcialmente, dicha pérdida de validez. Primero, los modelos predictivos pierden validez cuando se aplican a otras cohortes fuera de la que se ha utilizado para desarrollarlos, y segundo, éstos pierden capacidad de discriminación con el tiempo18 debido a los cambios en la técnica y la mejora de los resultados. También hay que tener en cuenta que el formato del CMBD cambió en 2003 y esto puede limitar el proceso de validación externa.
A pesar de estas limitaciones hay que decir en favor de los sistemas de registro que su calidad tiende a mejorar con el tiempo. De hecho, en Cataluña en 2003 se incorporaron seis campos más para el registro de diagnósticos y seis para el registro de procedimientos, y esto redundó de manera significativa en la calidad de la información (tabla 4). Además, en general, el sistema de registro es mejor en los centros de gestión pública, donde probablemente haya mayor exigencia en su cumplimentación por su utilidad a la hora de facilitar a la administración la dotación presupuestaria de los servicios sanitarios de cada centro y estudiar la adecuación del gasto de las prestaciones sanitarias.
En resumen, se puede afirmar que algunas limitaciones del CMBD se deben a problemas en su diseño (falta de criterios de gravedad, falta de precisión en las definiciones), pero también a su mala gestión o cumplimentación (errores en la codificación, omisión de los códigos de complicaciones posquirúrgicas). Puesto que aparentemente la calidad de la codificación aumenta paulatinamente, las bases de datos administrativas tienen el potencial de convertirse en herramientas útiles no sólo para la estimación de tasas brutas, sino para la obtención de tasas de mortalidad ajustadas. Fomentar el uso de las bases de datos administrativas para finalidades de investigación o evaluación de resultados contribuiría a su vez a aumentar su calidad8.
Para ciertas intervenciones de gran impacto en la salud, de riesgo no despreciable y de coste considerable como la cirugía cardiaca, sería recomendable disponer de sistemas de evaluación continua que permitieran la obtención de resultados ajustados de forma periódica y la comparación de los resultados de proveedores con un estándar (benchmarking). Estos sistemas podrían basarse, en parte, en datos administrativos8, quizá en combinación con la información recogida en registros clínicos de cumplimentación habitual o en estudios específicos, de forma parecida al sistema utilizado en la provincia de Ontario (Canadá)13, donde se cruzan periódicamente los datos administrativos basados en códigos diagnósticos CIE-9 con variables indicadoras de gravedad (fracción de eyección e indicación urgente o emergente) recogidas en una base de datos clínica de cumplimentación sistemática diseñada al efecto. Otros autores10,12,19 ya han propuesto una alternativa al ajuste del riesgo utilizando aisladamente bases de datos administrativas o clínicas. Hannan et al12, por ejemplo, añadieron tres variables clínicas (fracción de eyección, afección del tronco común e intervención previa) a los datos administrativos, para construir un modelo que predijo la muerte con precisión casi idéntica a la que se obtiene mediante datos prospectivos. También, recientemente, Aylin et al14 han demostrado que el uso creativo de bases de datos administrativas puede complementar de manera eficiente la información recogida en registros clínicos.
CONCLUSIONES
Nuestro estudio permite concluir que actualmente, las bases de datos administrativas son insuficientes para una adecuada valoración del riesgo de mortalidad hospitalaria en la cirugía coronaria; sin embargo, algunos de nuestros hallazgos indican que, si se asegurara su correcta cumplimentación, podrían convertirse en instrumentos útiles para este fin. Incluso en este caso, es probable que su utilidad exigiera un objetivo específico, la adición de algunas variables clínicas y una definición más precisa de todas las variables para uso de los codificadores.
ABREVIATURAS
CMBD: Conjunto Mínimo Básico de Datos.
Fuentes de financiación: Instituto de Salud Carlos III (FIS: 05/2108), CIBER de Epidemiología y Salud Pública.
Full English text available from: www.revespcardiol.org
Correspondencia:
Dra. A. Ribera.
Unidad de Epidemiología. Servicio de Cardiología. Hospital Universitario Vall d'Hebron.
Pg. de la Vall d'Hebron, 119-129. 08035 Barcelona. España.
Correo electrónico: aribera@vhebron.net
Recibido el 9 de enero de 2008.
Aceptado para su publicación el 9 de abril de 2008.