Revisión sistemática de indicadores de desempeño hospitalario

Métodos

Bases de datos a estudiar

Se efectuó una búsqueda en MEDLINE desde el 1° de marzo de 2000 hasta el 30 de setiembre de 2011. También se realizó una búsqueda en citas bibliográficas y las listas de referencia de todos los artículos encontrados sobre el tema de interés, para aumentar la posibilidad de identificar todos los estudios relevantes, las cuales se identificaron mediante el motor de búsqueda Google académico.

Estrategia de búsqueda

Se utilizaron los siguientes términos de búsqueda: hospital performance indicators, hospital inpatient quality indicators, hospital-performance y top 100 hospitals.

La búsqueda se hace por título, resumen o palabras clave. Para el filtro también se programó para que se contabilizaran sólo los artículos que tengan acceso libre con lo que se puedan revisar detalles metodológicos del cálculo de los indicadores.

Cuadro 1. Grupo de indicadores y sus direcciones Web
Organización Dirección Web	Nº Indicadores
Estados Unidos Agency for Healthcare Research and Quality (AHRQ) http://www.ahrq.gov/ -Indicadores de Seguridad del Paciente http://www.qualityindicators.ahrq.gov/Downloads/Software/SAS/V31/iqi_guide_ v31.pdf -Indicadores de calidad para pacientes hospitalizados -Indicadores pediátricos National Quality Forum (NQF) http://www.qualityforum.org/pdf/reports/sre/txsreexecsummarypublic.pdf http://www.qualityforum.org/publications/reports/hospital_measures.asp Joint Commission on the Accreditation of Healthcare Organizations (JCAHO) http://www.jointcommission.org/performance_measurement.aspx Centers for Medicaid and Medicare Services (CMMS)/Hospital Quality Alliance (HQA) http://www.cms.hhs.gov/ http://www.cms.hhs.gov/HospitalQualityInits/ Leapfrog Hospital Quality and Safety Survey http://www.leapfroggroup.org/for_hospitals/leapfrog_hospital_quality_and_ safety_survey_copy Centre for Disease Control (CDC) - Public Reporting of Healthcare - Associated Infections: A toolkit http://www.ascquality.org/qualitymeasures.cfm Canadá Canadian Institute of Health Performance (CIHI) http://secure.cihi.ca/cihiweb/dispPage.jsp?cw_page=indicators_e Reino Unido Healthcare Commission http://www.cqc.org.uk/annualreport200910.cfm National Centre for Health Outcome Development Indicators (NCHOD) http://www.nchod.nhs.uk/ España Iasist http://www.iasist.com/es/top-20 -Indicadores de la gestión global del hospital -Seis áreas específicas: Sistema Nervioso, Respiratorio, Corazón, Cirugía Digestiva, Traumatología y Ortopedia, y Área de la Mujer Europa European Commission: Safety Improvement for Patients in Europe (SImPatIE) http://www.simpatie.org National Indicator Project, Denmark (NIP) http://www.nip.dk/	30 71 51 29 20 8 16 31 28 11 26 40

Finalmente, los estudios duplicados dentro o entre grupo de palabras clave fueron eliminados.

Criterios de inclusión

Los criterios de inclusión están basados en la pregunta de revisión “¿Cuáles estudios cuentan con una descripción metodológica sobre el cálculo de indicadores de desempeño

o gestión hospitalaria?”. Este criterio de inclusión permitirá reflejar explícitamente el enfoque, la naturaleza y los límites de la revisión.

También se incluye como el criterio de selección adicional que deben ser estudios que se realizan para medir el desempeño hospitalario.

Se revisaron de forma independiente los artículos y se comprobó el cumplimiento de los criterios de inclusión.

Extracción de datos y evaluación de la calidad

Se evaluó independientemente la calidad metodológica de los estudios y se realizó una extracción de datos (indicadores de desempeño y forma de cálculo), utilizando una hoja de recogida de datos diseñada previamente.

Resultados

Como resultado de la búsqueda se identificaron 994 estudios. De estos 850 fueron excluidos tras la revisión del título y el resumen, pues no hacían referencia a indicadores de gestión hospitalaria. Treinta y seis nuevos artículos fueron obtenidos tras la revisión de las referencias bibliográficas de los estudios. A 144 artículos se les revisó la metodología y resultados, de los cuales se descartaron 124 por no incluir la ficha técnica de los indicadores. Finalmente 56 estudios se revisaron y se clasificaron para estudiar en detalle el marco metodológico y las fichas técnicas de los indicadores de desempeño hospitalario.

De los 56 artículos revisados un 39% está basado en la aplicación de algunos indicadores a entornos específicos, principalmente a hospitales de Estados Unidos, Europa y Australia. ^6-27 Un 22% de las investigaciones se refieren al detalle del marco teórico o los indicadores de las principales agencias de gestión hospitalaria ,^28-39 un 21% son aplicaciones metodológicas de ajustes por riesgo y análisis de indicadores específicos.^40-50 El 13% corresponden a revisiones sistemáticas de la literatura y de éstos tres están basados en una revisión detallada de artículos pertenecientes a agencias de evaluación del desempeño hospitalario.^51-57 El restante 5% se relaciona la asociación entre la aplicación de las estrategias de mejora de la calidad en los hospitales y el éxito de los hospitales en el cumplimiento de los requisitos de calidad definidos que se consideran productos intermedios del proceso de atención.^58-60

Cuadro 2. Dimensiones de calidad para elaboración de indicadores de desempeño hospitalario según agencias seleccionadas
Dimensiones UK Canada Australia-ACHS USA- AHRQ WHOPATH OECDHCQI
Aceptabilidad  Accesibilidad      Adecuación   Cuidado del medio ambiente y servicios  Competencia  Capacidad  Continuidad   Eficacia      Mejorar la salud  Enfoque clínico, gastos o costos   Eficiencia      Equidad       Gobernabilidad  Atención centrada en el paciente       Seguridad     Sostenibilidad  Oportunidad  
OECD, Organization for Economic Cooperation and Development; WHO, World Health Organization. Fuente: Elaborado con base en U.S. Department of Health and Human Services35

Cuadro 3. Dimensiones e indicadores incluidos en el “Top 20 Hospitales” de la agencia de evaluación Iasist
Dimensión Indicador
Calidad Índice de mortalidad ajustada por riesgoÍndice de complicaciones ajustada por riesgo Índice de readmisiones ajustada por riesgo Adecuación de la práctica clínica Índice de sustitución de cirugías sin ingreso Índice de hospitalizaciones evitables ajustado Eficiencia Índice de estancias ajustado por riesgo Productividad (unidades de producción/trabajador) Coste de aprovisionamiento por unidad de producción ajustada
Fuente: Elaborado con base en Iasist38

Agencias de evolución del desempeño hospitalario

Se analizaron en detalle dos de los artículos de revisiones sistemáticas que estudian los indicadores implementados por las agencias de gestión hospitalaria. Se identifica 23 organizaciones

o agencias de evaluación de desempeño hospitalario en Estados Unidos, Canadá, Inglaterra, Australia, varios países europeos y países asociados a la OCDE. ⁵³

En el cuadro 1, se incluye el nombre de las principales Agencias, su país de origen, el número de indicadores que componen cada lista y la dirección web donde se pueden ver los detalles tanto de la lista de los indicadores de desempeño como el marco teórico que les da sustento.

Discusión

Con la revisión sistemática de la literatura científica se identificaron 56 estudios que cumplieron los criterios de inclusión los cuales se revisaron y se clasificaron, para estudiar en detalle el marco metodológico y las fichas técnicas de los indicadores de desempeño hospitalario.

Tras la revisión de los estudios se identifican 20 agencias nacionales y tres internacionales que implementan indicadores de gestión hospitalaria. La revisión detallada de los grupos de indicadores de las principales agencias da cuenta de 383 indicadores, de los cuales muchos son comunes entre ellas.

Dentro de las principales limitaciones de la utilización de sistemas de indicadores para la evaluación de la gestión hospitalaria están: sobre interpretación de algunos indicadores que puede llevar a juicios sobre la calidad subyacente de la atención; riesgo a la estigmatización a una institución y provocar enormes tensiones y desviar la atención hacia una mejora superficial vía manipulación del sistema; los datos comparativos de resultados pueden ser utilizados por agentes externos para hacer juicios sobre la calidad de la atención hospitalaria; los indicadores de gestión tienen menor sensibilidad para identificar problemas de calidad de la atención en las unidades de atención de agudos respecto de las quirúrgicas de alto riesgo.

Un tema para investigaciones futuras es la revisión detallada de los marcos teóricos de las principales agencias de evaluación y compararlas con la del Compromiso de Gestión de la Caja Costarricense de Seguro Social (CCSS) actual y ver la conveniencia de posibles modificaciones.

Otra línea de investigación que se recomienda es analizar los indicadores de las principales agencias, así como los requerimientos de información y organización para su implementación en hospitales de la CCSS.

Se recomienda efectuar las investigaciones necesarias para ajustar ciertos indicadores de acuerdo a las condiciones del paciente (complejidad y comorbilidad)^42-44 y características de los hospitales, de tal forma que permitan ser utilizados en comparaciones en el espacio y el tiempo y dentro y entre hospitales o servicios hospitalarios.

Otro tema que se debería considerar para investigaciones futuras es analizar si la implementación de un sistema de indicadores de gestión, tipo Compromisos de Gestión, está relacionada con un aumento en la calidad de la atención. La conclusión básica de las investigaciones es que no es suficiente con aplicar un sistema de indicadores y evaluarlos, hay que hacer devoluciones de resultados e implementar otras estrategias de educación a los hospitales.^{57, 60}

Los resultados de algunos estudios indican que la aplicación de estrategias internas y externas de mejora de la calidad en los hospitales tiene efectos beneficiosos en los productos estudiados del hospital.^{57, 59} Un estudio realizado para países de la Unión Europea demostró asociaciones positivas seis estrategias internas de mejora de la calidad y resultados intermedios del hospital, explicando aproximadamente la mitad de su variación. ¹⁴

Como conclusión se tiene que no obstante las limitaciones mencionadas anteriormente, los datos de resultados de evaluación de indicadores de desempeño son útiles para investigaciones de tendencias y monitoreo dentro de un hospital. ⁶¹ En este sentido la OMS recomienda utilizar los indicadores de desempeño para:

a.

Dar orientaciones para la acción de los directores y profesionales en general de los hospitales.

b.

Contribuir a la mejora de los sistemas de información y la calidad de los datos.

c.

Reforzar la credibilidad de los resultados de sistemas de medición y la confianza de los hospitales en los datos que necesitan para evaluar.

d.

Promover la rendición de cuentas.

La futura implementación de un grupo de indicadores de desempeño hospitalaria debe poseer un rigor científico, empezando por el desarrollo de un marco de calidad, seguido por cuatro etapas posteriores para su aplicación: definición de las medidas; recopilación de datos; análisis e interpretación apropiados de resultados; actuaciones sobre los resultados.

Es importante mencionar también, que los informes de gestión hospitalaria deben ser emitidos y publicados por cada hospital de una manera uniforme, de modo que permita la comparación entre centros y sea un punto de partida para que los interesados puedan comenzar a hacer preguntas en cuanto a la gestión y la eficiencia.

Conflicto de interés: no existe conflicto de interés.

Referencias

1. Pai M, McCulloch M, Gorman JD, Pai N, Enanoria W, Kennedy G et al. Systematic reviews and meta analyses: an illustrated, step-by-step guide. Natl Med J India 2004; 17:86–95.

1. Sackett D, Strauss S, Richardson W, Rosenberg W, Haynes R. Evidence-based medicine: how to practice and teach EBM. 2 nd. Ed. London: Churchill-Livingstone; 2000.
2. Centro Colaborador Español del Instituto Joanna Brigss Institute para los Cuidados de Salud Basados en la Evidencia. Introducción a las revisiones sistemáticas. Reproducido del Best Practice 2001;Sup1:1-6
3. The Cochrane Collaboration. The Cochrane Manual Issue 1, 2007.
4. Valoración de las revisiones sistemáticas. Best Practice 2000; 1:1-6.
5. Courtney E, Ankrett S, McCollum P. 28-Day emergency surgical re-admission rates as a clinical indicator of performance. Ann R Coll Surg Engl 2003; 85:75–8.
6. Lutfiyya N, Bhat Deepa, Gandhi S, Nguyen C, Weidenbacher V, Lipsky M. A comparison of quality of care indicators in urban acute care hospitals and rural critical access hospitals in the United States. Int J Qual Health Care; 19:141–9.
7. Solon O, Woo K, Quimbo S, Shimkhada R, Florentino J, Peabody

J. A novel method for measuring health care system performance- experience from QIDS in the Philippines. Health Policy Plan 2009; 24:167–74.

1. Lombarts M, Rupp I, Vallejo P, Suñol R, Klazinga N. Application of quality improvement strategies in 389 European hospitals- results of the MARQuIS project. Qual Saf Health Care 2009; 18:i28–37.
2. Rivard P, Elwy A R, Loveland S, Zhao S, Tsilimingras D, Elixhauser A, Romano P S, Rosen A K. Applying Patient Safety Indicators (PSIs) across Healthcare Systems: Achieving Data Comparability. In: Henriksen K, Battles J B, Marks E, Lewin D I, editors. Advances in Patient Safety: From Research to Implementation. Rockville, MD: Agency for Healthcare Research and Quality; 2005; 2:7–25.
3. Jha Ashish, Li Z, Orav J Epstein A. Care in US hospital-The Hospital Quality Alliance program. N Engl J Med 2005; 353:265-74.
4. Kerssens J, Groenewegen P, Sixma H, Boerma W, van der Eijk I. Comparison of patient evaluations of health care quality in relation to WHO measures of achievement in 12 European countries. Bull World Health Organ 2004; 82:106-14.
5. Peters R. Hospital performance indicators in the netherland-a preterm delivery. Neth Heart J 2009; 17: 48-9.
6. Marshall MN, Romano PS. Impact of reporting hospital performance. Qual Saf Health Care 2005; 14:77–8.
7. DesHarnais S, McMahon L, Wroblewski R. Measuring Outcomes of Hospital Care Using Multiple Risk-Adjusted Indexes. Health Serv Res 1991; 26:425-45.
8. Ranking 35 hospitales y clínicas de América Latina. Disponible en: http://rankings.americaeconomia.com/2010/clinicas/ metodologia. Consultado 10 de Noviembre de 2011.
9. Gobierno Federal de México. Observatorio del Desempeño Hospitalario 2009. Secretaría de Salud. 1° Ed. 2010. México D.F.
10. Miller M, Elixhauser A, Zhan Ch, Meyer G. Patient Safety Indicators - using administrative data to identify potential patient safety concerns. Health Serv Res 2001; 36:110-32.
11. Jian W, Huang Y, Hu M, Zhang X. Performance evaluation of inpatient service in Beijing- a horizontal comparison with risk adjustment based on Diagnosis Related Groups. BMC Health Serv Res 2009; 9:72.
12. Gibberd R. Performance measurement- is it now more scientific. Int J Qual Health Care 2005; 17:185–6.

1. Chen J, Radford M, Wang Y, Marciniak T, Krumholz H. Performance of the “100 top hospitals”: what does the report card report? Health Aff 1999; 18:53-68.
2. Scott I, Ward M. Public reporting of hospital outcomes based on administrative data-risks and opportunities. Med J Aust 2006; 184:571–5.
3. Bardach N, Chien A, Dudley A. Small Numbers Limit the Use of the Inpatient Pediatric Quality Indicadors for hospital comparison. Acad Pediatr. 2010; 10:266–73.
4. Hines A, Stranges E, Andrews RM. Trends in Hospital Risk-Adjusted Mortality for Select Diagnoses by Patient Subgroups, 2000–2007: Statistical Brief #98. 2010 Oct. En: Healthcare Cost and Utilization Project (HCUP) Statistical Briefs [Internet]. Rockville (MD): Agency for Health Care Policy and Research (US); 2006 Feb. Disponible en: http://www.ncbi.nlm.nih.gov/ books/NBK52657/
5. Romano P, Mull H, Rivard P, Zhao Sh, Henderson W, Loveland S, Tsilimingras D, Christiansen C, Rosen A. Validity of selected AHRQ patient safety indicators based on VA National Surgical Quality Improvement Program data. Health Serv Res 2009; 44:182-204.
6. Shahian D, Wolf R, Iezzoni L, Kirle L, Normand S. Variability in the measurement of hospital-wide mortality rates. N Engl J Med 2010; 363:2530-9.
7. Groene O, Klazinga N, Kazandjian V, Lombrail P, Bartels P. WHO Performance Assessment Tool for Quality Improvement in Hospitals PATH- an analysis of the pilot implementation in 37 hospitals. Int J Qual Health Care 2008; 20:155–61.
8. Thomson Reuters. 100 Top hospitals: National Benchmarks 2009 Study. Thomson Reuters 17^th ed. march 2010.
9. Arah OA, Westert G, Hurst J, Klazinga NS. A conceptual framework for the OECD Health Care Quality Indicators project. Int J Qual Health Care 2006; 18:5–13.
10. Veillard J, Champagne F, Klazinga N, Kazandjian V, Arah OA, Guisset al. A performance assessment framework for hospitals: the WHO regional office for Europe PATH project. Int J Qual Health Care 2005; 17:487-96.
11. Australasian Clinical Indicator Report: 2001 – 2008. Determining the Potential to Improve Quality of Care: 10th Edition Australian Council on Healthcare Standards, 2008.
1. Collopy B. Clinical indicators in accreditation-an effective stimulus to improve patient care. Int J Qual Health Care 2000;
2. 12: 211-16.
12. Garcia S, Gil ML, Wei L, Kelley E, the Members of the HCQI Expert Group. Health Care Quality Indicators Project 2006 Data Collection Update Report. OECD Health Working Papers 29, 2007.
13. García-Eroles L, Illa C, Arias A, Casas M. Los Top 20 2000: objetivos, ventajas y limitaciones del método. Rev Calidad Asistencial 2001; 16:107-16.
14. US Department of Health and Human Services, Agency for Healthcare Research and Quality. National Healthcare Quality Report 2010. Rockville, MD: Agency for Healthcare Research and Quality, 2011.
15. World Health Organization. Performance Assessment Tool for Quality Improvement in Hospitals: Indicators descriptive sheets ´09/10. Division of Country Health Systems, WHO Regional Office for Europe, 2010.

1. World Health Organization. Performance Assessment Tool for Quality Improvement in Hospitals. WHO Regional Office for Europe, 2007.
2. Iasist. Hospitales Top 20 Benchmarks para la excelencia 2011. 1^a Ed. Iasist, S.A. España, 2011. URL: http://www.iasist.com/files/ TOP_20_2011_publicacion.pdf. Consultado 10 de noviembre 2011.
3. Thomson R, Taber S, Lally J, Kazandjian V. UK Quality Indicator Project (UK QIP) and the UK independent health care sector: a new development. Int J Qual Health Care 2004; 16:i51–6.
4. World Health Organization. A review of determinants of hospital performance. WHO, District Health Systems, Geneva 1994.
5. Austin P. Bayes rules for optimally using bayesian hierarchical regression models in provider profiling to identify high-mortality hospitals. BMC Med Res Methodol 2008; 8:30.
6. Shahian D, Normand Sh. Comparison of risk-adjusted hospital outcomes. Circulation 2008; 117:1955-63.
7. Li P, Kim M, Doshi J. Comparison of the performance of Elixhauser comorbidity measures in predicting mortality. BMC Health Serv Res 2010; 10:245.
8. Li B, Evans D, Faris P, Dean S, Quan H. Risk adjustment performance of Charlson and Elixhauser comorbidities in ICD-9 and ICD-10 administrative databases. BMC Health Serv Res 2008, 8:12.
9. Stausberg J, Halim A, Färber R. Concordance and robustness of quality indicator sets for hospitals-an analysis of routine data. Health Serv Res 2011; 11:106.
10. Noyez L. Control charts, Cusum techniques and funnel plots. A review of methods for monitoring performance in healthcare. Int Cardio Vasc Thorac Surg 2009; 9:494-9.
11. Van Lent W, de Beer R, Van Harten W. International benchmarking of specialty hospitals. A series of case studies on comprehensive cancer centres. BMC Health Serv Res 2010; 10:253.
12. Hannan E, Magaziner J, Wang J, Eastwood E, Silberzweig S, Gilbert M, Morrison S, McLaughlin MA, Orosz G, Siu A. Mortality and locomotion 6 months after hospitalization for hip fracture- risk factors and risk-adjusted hospital outcomes. JAMA 2001; 285(21):2736-42.
13. Silveira A, Machado M, Riboldi J, Guimarães J. Mortality prediction model using data from the Hospital Information System. Rev. Saúde Públ. 2010; 44:1-8.

1. Donabedian A. Twenty years of research on the quality of medical care. Eval. Health Prof. 1985; 8:243-65.
2. Giordani F, Rozenfeld S. Adverse drug events in hospitals- a systematic review. Cad. Saúde Pública Rio de Janeiro 2009; 25:S360-72.
3. Groene O, Skau JK, Frolich A. An international review of projects on hospital performance assessment. Int J Qual Health Care 2008; 20:162-71.
4. Copnell B, Hagger V, Wilson SG, Evans SM, Sprivulis PC, Cameron PA. Measuring the quality of hospital care: an inventory of indicators. Intern Med J. 2009; 39:352-60.
5. Haller G, Stoelwinder J, Myles P, McNeil J. Quality and Safety Indicators in Anesthesia: A Systematic Review. Anesthesiology 2009; 110:1158–75.
6. Davies S, Geppert J, McClellan M, McDonald K, Romano P, Shojania K. Refinement of the HCUP Quality Indicators. Agency for Healthcare Research and Quality; USA, May 2001.
7. Ross J, Mulvey G, Stauffer B, Patlolla V, Bernheim S, Keenan P, Krumholz H. Statistical models and patient predictors of readmission for heart failure: a systematic review. Arch Intern Med 2008; 168:1371-86.
8. De Vos M, Graafmans W, Kooistra M, Meijboom B, Van Der Vort P, Westert G. Using quality indicators to improve hospital care: a review of the literature. Int J Qual Health Care 2009; 21:119–29.
9. López L, Hicks L, Cohen A, McKean S, Weissman J. Hospitalists and the Quality of Care in Hospitals. Arch Intern Med 2009; 169:1389-94.
10. Suñol R, Vallejo P, Thompson A, Lombarts M J M H, Shaw C D, Klazinga N. Impact of quality strategies on hospital outputs. Qual Saf Health Care 2009; 18:i62–8.
11. Gibberd R, Hancock S, Howley P, Kay R. Using indicators to quantify the potential to improve the quality of health care. Int J Qual Health Care 2004; 16: i37–43.
12. Lilford R, Mohammed MA, Spiegelhalter D, Thomson R: Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet 2004, 363:1147-54.