La mejor evidencia de la investigación psicológica clínica.

La mejor evidencia de la investigación psicológica clínica.

(Best research evidence in Clinical Psychology. )

Mª Dolores Frías Navarro; Juan Pascual Llobell; Héctor Monterde y Llobet.

* Dpto. Metodología de las Ciencias del Comportamiento
Facultad de Psicología

** Universitat de València

Este trabajo forma parte de los resultados de un proyecto de investigación subvencionado por el Ministerio de Ciencia y Tecnología bajo el título “Revisión crítica del diseño estadístico en Psicología: análisis de los programas docentes y protocolos editoriales de revisión”.  (Ref: SEJ2004-08304/PSIC)

PALABRAS CLAVE: Evidencia Basada en la Práctica en psicología, Experiencia clínica, Preferencias del paciente, Calidad de la investigación, Calidad de la evidencia.

(KEYWORDS: Evidence-Based Practice in Psychology, Clinical expertise, Patient preferences, Quality research, Quality evidence. )

Resumen

El objetivo de esta investigación es analizar cuestiones vinculadas con la situación de la Práctica Basada en la Evidencia en psicología (Evidence-Based Practice in Psychology, EBPP) cuyo propósito es promover la práctica psicológica efectiva, mejorando con ello la salud pública. Existe un amplio consenso acerca de la necesidad de que la práctica psicológica se base en la evidencia empírica, integrando la investigación en la práctica diaria. Los psicólogos clínicos expertos determinan la aplicabilidad de las conclusiones de la investigación para un determinado paciente y poseen una serie de competencias que promueven la obtención de resultados terapéuticos positivos. Entre esas competencias se incluye la evaluación y uso de la evidencia de investigación. La Práctica Basada en la Evidencia requiere que los psicológicos reflexionen sobre la calidad y las limitaciones de la evidencia obtenida con diferentes tipos de investigación. En general, la evidencia se obtiene de investigaciones relevantes y de revisiones sistemáticas sustentadas en la estimación de tamaños del efecto y la significación estadística. Investigadores y profesionales deben trabajar juntos para lograr que la investigación disponible tenga validez interna y además sea clínicamente relevante. En muchas ocasiones, la calidad de la investigación es un precursor de la calidad de la evidencia. El diseño del estudio, las hipótesis de investigación, los métodos, la coherencia y consistencia de los hallazgos influyen sobre el tipo y calidad de la evidencia obtenida.

Abstract

The objective of this investigation is analyzing issues associated with Evidence-Based Practice in Psychology (EBPP). The purpose of EBPP is to promote effective psychological practice and enhance public health. There is broad consensus that psychological practice needs to be based on evidence and integrating research in day to day practice. The psychologists’ clinical expertise determines the applicability of research conclusions to a particular patient and encompasses a number of competencies that promote positive therapeutic outcomes. These competencies include the evaluating and using research evidence. Evidence-based practice requires that psychologists recognize the strengths and limitations of evidence obtained from different types of research. Generally, evidence derived from clinically relevant research on psychological practices should be based on systematic reviews, reasonable effect sizes and statistical and clinical significance. Researchers and practitioners should join together to ensure that research available on psychological practice is both clinically relevant and internally valid. The quality of research, more often than not, is a precursor to quality evidence. Typically, the overall study design, the specific research questions, methods, coherence and consistency of findings influence the type and quality of evidence produced.



La valoración actual de los efectos de la intervención en psicología Clínica está marcada por el movimiento de la Práctica Basada en la Evidencia cuyos inicios y principios se encuentran en la Medicina (Frías y Pascual, 2003). Los psicólogos clínicos evalúan, diagnostican, predicen, previenen y tratan la psicopatología y los trastornos mentales con el objetivo de mejorar la conducta, el ajuste, la adaptación, la efectividad personal y la satisfacción (Commission for the Recognition of Specialties and Proficiencies, 2004). El eje principal que guía las actuaciones clínicas basadas en la evidencia se apoyan en el uso explícito y juicioso de la mejor evidencia (prueba) en el proceso de toma de decisiones acerca del cuidado del paciente, integrando los resultados de la investigación científica con la experiencia clínica y las preferencias o valores de los pacientes (Institute of Medicine, 2001; Sackett, Rosenberg, Gay, Haynes y Richardson, 1996). Por lo tanto, la Práctica Basada en la Evidencia (Evidence-Based Practice) incluye la integración de la mejor evidencia extraída de los estudios de investigación con la experiencia profesional y los valores del paciente (Sackett, Straus, Richardson, Rosenberg y Haynes, 2000), destacando la idea de que la práctica profesional debe tener su fundamento en las terapias con eficacia contrastada empíricamente (Trinder, 2000).

En este sentido, en el informe de Agosto de 2005 Presidential Task Force on Evidence-Based Practice (Levant, 2005) (www. apa. org/practice/ebpreport. pdf) de la American Psychological Association se señala que “la práctica basada en la evidencia en psicología es la integración de la mejor evidencia disponible con el juicio clínico en el contexto de las características del paciente, la cultura y sus preferencias”. El objetivo de nuevo es aplicar aquellos tratamientos psicológicos que tienen apoyo empírico o pruebas válidas de su efecto junto con la experiencia del profesional y los deseos del paciente. En el informe se definen y operacionalizan las competencias del psicólogo que promueven resultados terapéuticos positivos. También se destaca la importancia de considerar los valores, las preferencias, las creencias religiosas y las metas del paciente dentro del proceso de la Práctica Basada en la Evidencia ya que un paciente informado y activo suele ayudar al éxito de la intervención psicológica. El propósito principal, por lo tanto, es potenciar la práctica psicológica efectiva y mejorar la salud pública aplicando intervenciones con apoyo empírico que hayan sido sometidas al control de calidad del método científico. La Práctica Basada en la Evidencia no es sólo aplicar tratamientos validados empíricamente, es un modelo de trabajo que busca desarrollar la práctica profesional garantizando la objetividad y transparencia de la intervención basada en los resultados de las investigaciones que presentan mayor validez y control experimental.

Dentro del proceso de Práctica Basada en la Evidencia y desde la perspectiva de la actuación del profesional, es importante considerar su habilidad para integrar la experiencia del clínico y la mejor investigación disponible para el tratamiento de un paciente concreto, considerando además los costos y los beneficios. Es el psicólogo quien finalmente decide qué tipo de tratamiento recibirá su paciente, tomando decisiones de manera continúa a medida que transcurre la intervención y los progresos del paciente. Sus decisiones estarán determinadas por la valoración juiciosa y explícita de la mejor evidencia disponible sobre la problemática del paciente. En este punto es muy importante la formación metodológica del profesional dada su relación con la habilidad para valorar críticamente la calidad y limitaciones de los resultados de las distintas fuentes de evidencia empírica examinadas. Además, el clínico en su consulta también crea hipótesis y debe valorar los resultados de las fuentes de evidencia para lograr sus objetivos de intervención.

Práctica Basada en la Evidencia: uso e interpretación del diseño de investigación

Durante el proceso de la Práctica Basada en la Evidencia no se busca cualquier evidencia, se busca la mejor evidencia (utilizando diseños de investigación que garanticen la validez de los hallazgos) que se ajusta a las características del paciente. La psicología y la Medicina basadas en la evidencia requieren conocer y comprender correctamente la metodología del diseño de investigación (Altman y Bland, 1991; Bland y Peacock, 2003) de ahí las recomendaciones y exigencias de las políticas editoriales de las revistas científicas relacionadas con el método. Por ejemplo, la prestigiosa publicación British Medical Journal (BMJ) tiene un apartado exclusivamente dedicado a tratar cuestiones de diseño de investigación (Statistics and Research Methods) que ayuden a la comprensión y formación continua del lector en aspectos de metodología y diseño de investigación. Otro ejemplo lo podemos consultar en la revista Canadian Medical Association Journal (CMAJ) que en el 2004 publicó una serie de artículos metodológicos relacionados con la enseñanza de la medicina basada en la evidencia con el propósito de ayudar a los clínicos para comprender cuestiones de diseño estadístico de manera que fuesen capaces de “usar la literatura y aplicar los resultados publicados a sus pacientes” (p. 171) (Montori, Kleinbart, Newman, Keitz, Wyer y Guyatt, 2004).

Los psicólogos y los médicos reciben una formación metodológica durante sus estudios universitarios basada en los principios del método científico dotándoles de la técnica para revisar críticamente, comprender e integrar la literatura científica e incluso para comprobar hipótesis de investigación relacionadas con una intervención concreta (Stricker y Trierweiler, 1995; Trierweiler y Stricker, 1998). Poner en marcha los principios de la Práctica Basada en la Evidencia supone interpretar la evidencia numérica de por ejemplo medidas de asociación (odds ratios, número necesario a tratar…), de tamaño del efecto, de los valores p de probabilidad o de los intervalos de confianza; en definitiva implica conocer los elemento que forman parte del proceso de comprobación de significación de la hipótesis nula o de la significación estadística (Null Hypothesis Significance Testing, NHST). Además, la lectura crítica de los trabajos de revisión sistemática y de los meta-análisis es muy importante dado su valor como fuente destacada de evidencia válida y requiere conocer el uso y la interpretación de diferentes estimadores del tamaño del efecto, de los valores p de probabilidad, de las pruebas de homogeneidad de los efectos, de la consideración del diseño con efectos fijos o aleatorios o de la valoración del efecto de las variables moderadoras. Médicos y psicólogos coinciden en las dificultades que tienen para comprender e interpretar los resultados numéricos (Altman y Bland, 1991). Incluso algunos autores consideran que la ‘numerofobia’ (actitud negativa ante la cuantificación de resultados) puede actuar como una barrera que impide el uso de la práctica basada en la evidencia (Ben-Shlomo, 2005; Ben-Shlomo, Fallon, Sterne y Brookes, 2004). La actitud del profesional ante la metodología tiene que ser positiva entendida como herramienta necesaria del trabajo aplicado (Abraira, Cadarso, Gómez, Martín y Pita, 2001).

La evidencia científica se obtiene de un amplio número de diseños de investigación elaborados dentro de una metodología experimental, cuasi-experimental y no experimental (Pascual, Frías y García, 1996; García, Frías y Pascual, 2001). La evidencia (“las pruebas”) que aporta la investigación científica puede ser graduada en función de la calidad metodológica de su diseño de investigación y aquí comienza y persiste el debate ya clásico sobre el papel del investigador y el profesional, sobre la eficacia y la efectividad del tratamiento, sobre la validez interna y la validez externa, es decir, sobre la metodología experimental (ensayos clínicos aleatorizados) y las metodologías no experimentales. Interrogantes sobre si la investigación es relevante para la práctica clínica (Connor-Smith y Weisz, 2003) o si la investigación cambia la práctica clínica (Laing, 2004) resumen el debate entre la ciencia y la práctica del profesional. Quizás si preguntamos a nuestros compañeros profesionales cómo modifica la investigación su práctica clínica podamos conocer hasta qué punto hacen uso de los principios de la práctica basada en la evidencia dado que su respuesta nos indicará si hacen investigación o si leen y aplican el trabajo de otros.

El rápido desarrollo y el impacto de los principios de la medicina basada en la evidencia ha sido puesto de manifiesto en los resultados de diversos estudios (Coomarasamy y Khan, 2004). La creación de la organización Cochrane Collaboration (López y Qizilbash, 1996) es un indicador de la presencia y aplicación de las revisiones sistemáticas en el área médica. En psicología el proceso de incorporación de dichos principios ha sido más tardío. Por ejemplo la organización Campbell Collaboration se funda oficialmente en el año 2000 (Petrosino, Boruch, Duggan y Sánchez-Meca, 2001; Sánchez-Meca, Boruch, Petrosino y Rosa, 2002).

El debate en psicología sobre la jerarquía de la evidencia basada en la metodología de investigación (donde el ensayo clínico aleatorizado es el eje que guía el apoyo empírico de los tratamientos) y la valoración de los efectos inespecíficos de la intervención aún sigue abierto (Baskin, Tierney, Minami y Wampold, 2003; Westen y Morrison, 2001; Westen, Novotny y Thompson-Brenner, 2004).  

Los esfuerzos de la American Psychological Association apoyando el movimiento de la Práctica Basada en la Evidencia son una prueba de la línea de trabajo que desde hace ya más de diez años se propone desde dicha asociación y cuyos frutos ya se observan en los títulos de los libros y artículos y en las conferencias de los congresos. Por ejemplo, la editorial Hogrefe & Huber va a ir publicando hasta el 2008 la serie Advances in Psychotheray-Evidence-Based Practice, desarrollada por la División 12 del APA.
La creación del grupo de trabajo Presidential Task Force on Evidence-Based Practice (Levant, 2005) es un indicador de la incorporación de los principios de la práctica basada en la evidencia que probablemente acelerará su uso y divulgación entre los psicólogos. El grupo está formado por expertos investigadores y profesionales de la psicología.

En España, la Sociedad Científica para la Protección de la infancia y Juventud ACAPI-PSICONDEC (psicondec. rediris. es/SMBE. htm).  coordinada por Mario Araña, José J. LaCalle y Nélida Porto, mantiene una sección de Salud Mmental Basada en la Evidencia: 

Psiquiatría, coordinada por David Bussé, (psicondec. rediris. es/SMBE. htm).  y Salud Mental Basada en la Evidencia: psicología, coordinada por Dolores Frías, (psicondec. rediris. es/SMBE. htm).

Creencias erróneas sobre los resultados estadísticos del diseño de investigación

La estrategia de análisis dominante en el área de la psicología es la comprobación de la significación de la hipótesis nula (Null Hypothesis Significance Testing, NHST) entendida como tamaño de efecto cero (Batanero, 2000; Daniel, 1998; Hubbard, Parsa y Luthy, 1997; McLean y Ernest, 1998; Nickerson, 2000; Nix y Barnette, 1998; Pascual, Frías y García, 2000). La hipótesis nula refleja la igualdad de las medias poblacionales y es la hipótesis estadística que se somete a contraste estadístico. Su rechazo indica que existe significación estadística e informa de la presencia de diferencias entre los grupos (asumiendo un determinado error de tipo I). Sin embargo, no dice nada ni de la magnitud ni de la importancia de las diferencias encontradas a pesar del empeño de las interpretaciones erróneas de los investigadores.

La polémica significación estadística/significación clínica recoge una de las críticas más destacadas que se realizan a las pruebas de significación de la hipótesis nula relacionada con la planificación del diseño de investigación y la interpretación de los resultados. Un resultado estadísticamente significativo no indica que sea un resultado importante. Del mismo modo que un resultado estadísticamente no significativo podría ser importante.  

La importancia del hallazgo es una decisión subjetiva y está relacionada con el juicio del experto, no es una cuestión estadística ni de magnitud del efecto ya que puede comprobarse un efecto estadísticamente significativo y sin embargo no tener importancia clínica y viceversa. Es una decisión que depende de la utilidad del hallazgo y por lo tanto es subjetiva (Frías, Pascual, Monterde-Bort y García, 2006). El valor del tamaño del efecto clínicamente importante depende del constructo que se esté investigando y de ciertas variables contextuales.

Las creencias erróneas y abusos que se han cometido en el uso del procedimiento de significación de la hipótesis nula también han marcado la reforma estadística en la Medicina y la psicología. Justificar la interpretación de la evidencia de los resultados de la investigación empírica en los valores p de probabilidad ha sido lo más habitual en ambas disciplinas. Sin embargo, las creencias erróneas y la aplicación incorrecta de dicho procedimiento estadístico han provocado grandes debates que incluso plantearon la eliminación del procedimiento NHST en psicología (Pascual, Frías y García, 2000). En 1982, la revista British Medical Journal (BMJ) publica una serie de artículos elaborados por Douglas Altman y Sheila Gore que también recogen el uso y abuso del diseño estadístico en la Medicina que conducirán a la reforma de su política editorial.

El movimiento de la Práctica Basada en la Evidencia necesitaba de la reforma estadística y el desarrollo de ambas líneas de trabajo ha permitido unir los intereses del investigador y el clínico. La significación clínica de una intervención no puede ser estimada estadísticamente porque se trata de una cuestión de utilidad pero estimar los tamaños del efecto sí ayuda al clínico en la elaboración de la valoración clínica de los resultados empíricos de investigación.

Desde la Unidad de Investigación de Diseño y análisis en psicología Aplicada del departamento de Metodología de las Ciencias del Comportamiento de la Universidad de Valencia (www. uv. es/~friasnav/PBE. html).  llevamos más de una década estudiando el comportamiento estadístico de los psicólogos, analizando la calidad de las investigaciones publicadas y dedicando especial atención al estudio de la validez de conclusión estadística. Los objetivos de nuestros últimos trabajos de investigación se han centrado en el análisis de las creencias y opiniones de estudiantes, profesores y profesionales de la psicología sobre cuestiones estadísticas relacionadas con el diseño de investigación (Monterde, Pascual y Frías, 2006) como la interpretación del valor p de probabilidad, el tamaño del efecto o el tamaño muestral. Además, también es objetivo de nuestro trabajo de investigación desarrollar pautas de diseño estadístico que mejoren la calidad de los resultados (www. uv. es/~friasnav/PBE. html).

Realicemos un pequeño ejercicio antes de presentar algunos datos de nuestra investigación empírica (Frías, Pascual y Monterde, 2005). Por ejemplo, usted como lector interesado en la lectura del presente informe reflexione sobre las siguientes afirmaciones expresadas en la tabla 1 y adopte una decisión metodológica. Supongamos que los hallazgos de un estudio señalan que el valor de probabilidad p del estadístico utilizado en el diseño de investigación es 0. 001. Qué conclusión estadística piensa que se puede obtener de dicho resultado, qué evidencia estadística hemos encontrado ante dicho valor de probabilidad. Lea las siguientes frases y valore si está en Desacuerdo, Algo en Desacuerdo, Neutral, Algo de Acuerdo o De Acuerdo.

Tabla 1. Valore cada una de las seis afirmaciones siguientes relacionadas con la interpretación del valor p de probabilidad igual a 0. 001 como Desacuerdo, Algo en Desacuerdo, Neutral, Algo de Acuerdo


A continuación presentamos en la tabla 2 los resultados de nuestra investigación llevada a cabo con una muestra de estudiantes, profesores y profesionales de psicología. Se detalla el porcentaje de acierto ante cada afirmación junto con los resultados del trabajo de Oakes (1986) con una muestra de estudiantes de doctorado que fue quien propuso esta idea con la opción de respuesta de Verdadero o Falso. Los resultados son preocupantes. Si observamos los datos del final de la tabla 2 cuando se valora si algún participante contestó de forma correcta al conjunto de la seis afirmaciones de la encuesta, sólo el 2. 7% de los estudiantes de psicología que ya han recibido formación metodológica dan una respuesta correcta, lo hacen correctamente el 11. 9 de los profesores de psicología y ningún profesional da una respuesta correcta.

Desde nuestro trabajo de equipo investigador seguiremos vinculando este comportamiento estadístico dentro de las habilidades que requiere el proceso de Práctica Basada en la Evidencia.

Tabla 2. Porcentajes de Respuesta Acertadas ante cada afirmación

Debate y reforma de la práctica estadística

El movimiento de la medicina basada en la evidencia y la Práctica Basada en la Evidencia se caracteriza principalmente por la búsqueda de las evidencias con la investigación empírica, destacando la técnica de NHST como herramienta de análisis de datos de los estudios primarios. Desde su perspectiva se promueve especialmente la realización de revisiones sistemáticas sobre un tópico que analice y tenga en cuenta los límites y los elementos de diseño que afectan a la técnica de la significación estadística (Sackett, Strauss, Richardson, Rosenberg y Haynes, 2000). Entre las prioridades de dicho movimiento sobresale el planteamiento de diseños estadísticos que aseguren la validez de los resultados de ahí que la calidad de las evidencias esté sometida a un control básicamente a través de la metodología de investigación empleada, experimental o no experimental, dando lugar a diferentes grados o niveles de evidencia.

Por lo tanto, la Práctica Basada en la Evidencia implica emitir un juicio sobre la confianza y las limitaciones de los hallazgos de investigación. Como Lohr (2004) señala el grado de confianza que se tiene de la evidencia o de las pruebas está relacionado con la robustez del diseño de investigación aplicado. Los criterios que están vinculados con la calidad de la evidencia valoran la calidad, la cantidad y la consistencia de los hallazgos (West, King y Carey, 2002). Es decir, la calidad de los estudios primarios donde se controlen los sesgos que pueden minimizar la validez del diseño de investigación. También las cuestiones relacionadas con la cantidad son importantes como por ejemplo el número de estudios, el tamaño de la muestra, la potencia estadística del diseño de investigación o la magnitud de los efectos. Además, lograr resultados similares utilizando diferentes diseños de investigación promueve la generalización de los hallazgos, aspecto relacionado con la efectividad de la intervención.

El grupo de trabajo Task Force on Statistical Inference (TFSI) de la American Psychological Association (APA), constituido en 1996, subraya la necesidad de un cambio en la práctica estadística del psicólogo aunque no apoya el abandono de las pruebas de significación estadística. Entre las recomendaciones más importantes y apoyadas posteriormente en la quinta edición del Manual de publicación del APA (2001) destacan las siguientes (Wilkinson y APA Task Force on Statistical Inference, 1999):

. Informar del tamaño del efecto. El tamaño del efecto siempre debe ser informado en los estudios primarios, interpretándolo en el contexto de los tamaños del efecto previamente hallados, permitiendo de este modo el desarrollo de una adecuada investigación.

. Informar de los intervalos de confianza del tamaño del efecto. Utilizar más métodos sustantivos de informe como la interpretación de los intervalos de confianza (CI) del tamaño del efecto y si es posible obtener los intervalos de confianza para correlaciones y otros coeficientes de asociación.

. Utilizar procedimientos gráficos ya que mejoran la interpretación y la comunicación de los resultados. Además recomiendan, si es posible, representar gráficamente los intervalos de confianza de los tamaños del efecto.

Calcular, interpretar y representar gráficamente el tamaño del efecto y sus intervalos de confianza tiene la ventaja de que el investigador piensa en términos meta-analíticos (Cumming y Finch, 2001a, 2001b) de manera que contextualiza los resultados de su investigación. Es decir, requiere formular tamaños de efecto que están integrados en los resultados previos de la literatura y supone interpretar los tamaños del efecto detectados en el contexto de los efectos encontrados previamente (Wilkinson y APA Task Force on Statistical Inference, 1999). De este modo se evita la interpretación rígida de los valores de tamaño de efecto tal y como ha ocurrido con el valor de alfa de 0. 05 y que también ha sido elemento de debate y crítica contra el procedimiento NHST.

Estado actual de la reforma de la práctica estadística

A pesar del debate y las recomendaciones promovidas por las organizaciones y grupos de trabajo de inferencia estadística, la conducta analítica del psicólogo sigue la pauta tradicional, aplicando una y otra vez el ritual del procedimiento de significación de la hipótesis nula (Capraro y Capraro, 2003; Finch, Cumming y Thomason, 2001; Kline, 2004; Vacha-Haase, Nilsson, Reetz, Lance y Thompson, 2000; ). Por qué. La respuesta no es sencilla o quizás es simplemente la rutina.

El cambio debe surgir desde la docencia universitaria con nuevos programas y manuales que planteen la comprensión conceptual del diseño estadístico como meta de enseñanza, no dirigiendo todo el esfuerzo a la presentación y ejecución del cálculo. Hasta ahora la docencia universitaria relacionada con cuestiones metodológicas sigue enfatizando una aproximación tradicional al diseño y análisis estadístico, no planteándose en los programas docentes el análisis y discusión de las críticas a NHST o el desarrollo e integración de la estimación de los intervalos de confianza del tamaño del efecto dentro del proceso de diseño de investigación y la práctica aplicada (Friedrich, Buday y Kerr, 2000; Pascual, Frías, García, Alberola y Vicente, 2003). La reforma de la práctica estadística requiere de una reforma dramática de la educación estadística que reciben nuestros alumnos. Como Gardner y Altman (1989, en su segunda edición como Altman y cols, 2000) señalan, un serio obstáculo impide la reforma estadística: la mayoría de los manuales estadístico no desarrolla la estrategia de análisis de los intervalos de confianza.

También el cambio requiere de una reforma de la política editorial de las revistas psicológicas que debe marcar a los autores las nuevas necesidades de la estrategia de análisis estadístico de los datos. Esta segunda vía de cambio está íntimamente relacionada con la comprensión de los conceptos estadísticos y su ubicación en el análisis metodológico de la investigación. Por ejemplo, puede que los autores calculen la potencia estadística ya que es un requisito para que el artículo sea publicado pero si se desconocen las implicaciones de la alta o baja potencia del estadístico poco se podrá interpretar y añadir al uso tradicional de las pruebas de significación estadística. Acompañar las ediciones de las revistas con un apartado dedicado al planteamiento y reflexión sobre cuestiones de diseño de investigación tal y como mencionamos que lo hace British Medical Journal sería un requisito de todas las publicaciones científicas que recogen investigación aplicada.

Los programas de software estadísticos también deben actualizarse con las recomendaciones y reformas de la práctica estadística. Además de ser una herramienta de análisis para el investigador, permite que el alumno explore los conceptos estadísticos y realice sus propios experimentos, superando con creces las presentaciones de los manuales (Morris, Joiner y Scanlon, 2002). Por ejemplo, pueden explorar las relaciones entre tamaño de la muestra y error estándar o valor p de probabilidad. Pueden descubrir el alcance de la potencia estadística o del tamaño del efecto. Un ejemplo de software multimedia específicamente diseñado para la educación y comprensión de los conceptos estadísticos es STATPLAY (Cumming y Thomason, 1998) 

(www. latrobe. edu. au/psy/cumming/esci. html) donde el alumno puede realizar presentaciones gráficas de los conceptos estadísticos. Posteriormente y dentro del marco de la reforma de la práctica estadística, Geoff Cumming continúa el proyecto de software educativo con un nuevo programa Exploratory software for confidence intervals, (ESCI) (www. latrobe. edu. au/psy/cumming/esci. html) especialmente diseñado para la estimación de los intervalos de confianza del tamaño del efecto, enfatizando la interpretación visual de los resultados.

Estándares de calidad de la investigación

La culminación de los elementos implicados en el proceso de investigación es la publicación de los resultados, aportando al saber científico una nueva reflexión sobre el comportamiento de un determinado fenómeno objeto de estudio ayudando al avance del conocimiento. La calidad de la evidencia encontrada está directamente relacionada con la calidad de la investigación publicada. La profesión de la psicología clínica necesita del respaldo de certificaciones, organizaciones, código ético y también de revistas especializadas. Las revistas Journal of Consulting Psychology (cuyo título actual es Journal of Consulting and Clinical Psychology y el editor es Larry E. Beutler) y la American Psychologist nacieron como un medio de expresión de temas profesionales aunque en la actualidad se centran en la presentación de los resultados de las investigaciones. En 1969 la American Psychological Association y la Division 12 presentan una nueva publicación denominada Professional Psychology, conocida hoy como Professional Psychology: Research and Practice (la editora actual es Mary Beth Kenkel) donde se publican artículos sobre temas profesionales que pueden interesar a los especialistas de la salud especialmente. El papel de las revistas dentro del proceso de Práctica Basada en la Evidencia también es importante como medio de difusión y control de la calidad de las pruebas de investigación.

Los editores y la política editorial de las revistas científicas deben exigir a los autores de los artículos el cumplimiento de unos estándares de investigación que garantice el progreso del conocimiento por el camino de las evidencias válidas. La calidad de la investigación se refiere a todo el proceso científico que acompaña al diseño de investigación y que queda reflejado en los artículos publicados. En términos generales, incluye el planteamiento de las hipótesis y la metodología de investigación, la selección de los sujetos, la medida de los constructos psicológicos y el control del sesgo sistemático (García, Frías y Pascual, 2001). El término scientifically based research recoge la esencia de la aplicación de procedimientos rigurosos, sistemáticos y objetivos para alcanzar el conocimiento válido y fiable de la realidad psicológica y educativa o médica.
Los elementos que están relacionados con la calidad de investigación incluyen, por lo tanto, plantear una necesidad de conocimiento (cuestión a investigar) que contribuya al conocimiento del tópico, aplicar el método de investigación más adecuado a la cuestión formulada en la hipótesis sustantiva, proporcionar la información necesaria para reproducir o replicar el estudio, aportar una descripción de la muestra suficiente, describir con detalle la intervención y las características de los grupos de comparación, usar medidas apropiadas y fiables de las variables, evaluar las posibles explicaciones alternativas para los hallazgos, considerar el posible impacto del sesgo sistemático y enviar el trabajo de investigación a una revista que ofrezca una revisión por pares (peer review processs) y cuya calidad editorial esté garantizada por el proceso exhaustivo de revisión de la investigación siguiendo los planteamientos y sugerencias que el área de la metodología destaca como importantes para el progreso de la Ciencia. Junto a estos factores también suele mencionarse como índice de calidad del trabajo el análisis bibliométrico del estudio publicado a través de las citas que recibe por parte de los trabajos de otros investigadores. El factor de impacto de las revistas es el índice bibliométrico más utilizado para evaluar la calidad de los artículos y de las revistas científicas (Buela-Casal, 2003). Sin embargo también es posible que la medida de cantidad de citas pueda estar artificialmente influida por publicar en revistas con tasas de aceptación alta.

Informe de investigación estandarizado

Hasta el momento no existe un algoritmo consensuado sobre los elementos específicos que aseguran la calidad de la investigación (quizás hay más consenso sobre los factores que son motivo de rechazo de calidad científica). Sin embargo sí hay protocolos y “checklists” (listado de comprobación o de verificación) exhaustivos para elaborar un informe estandarizado de investigación que evalúe la validez de los resultados aportados por un estudio empírico.

La calidad de la investigación publicada no es tan válida como sería deseable e incluso la calidad del proceso de revisión por los referees o expertos se cuestiona (Bacchetti, 2002). En la revisión elaborada por Finch, Cumming y Thomason (2001) de los trabajos publicados en la revista Journal of Applied Psychology desde 1940 a 1999 se observa que los investigadores interpretan erróneamente los fundamentos del procedimiento de significación de la hipótesis nula. Su análisis revela, entre otros aspectos, inconsistencias en el informe de los valores de alfa y de probabilidad, frecuente aceptación de la hipótesis nula sin considerar la potencia estadística, escasos trabajos estiman la potencia a priori y el cálculo de los intervalos de confianza brilla por su ausencia. Desde nuestro equipo de investigación hemos analizado 53 artículos empíricos publicados en la revista española psicología General y Aplicada durante los años 2000, 2001 y 2002 (Frías, Pascual, García y Monterde, 2003) y después de revisar las secciones de métodos, resultados y conclusiones de los artículos las principales conclusiones de nuestro trabajo señalan:

a) La explicación explícita sobre el tipo de metodología empleada en el estudio y el diseño estadístico aplicado es muy escasa, confusa e incluso en alguna ocasión errónea.

b) En ningún caso se realiza un estudio de potencia estadística a priori. Y sólo en contadas ocasiones se menciona la posibilidad de la escasa potencia de los datos.

c) El estudio e interpretación del tamaño del efecto es muy escaso. Cuando se calcula se obtiene R2 y en una sola ocasión en la que se calcula h2 se interpreta siguiendo los principios del tamaño del efecto de Jacob Cohen.

d) Casi existe unanimidad en vincular los valores de p estadísticamente significativos con importancia o significación de los hallazgos. Sólo trabajos llevados a cabo por metodólogos desvinculan dicha conexión.

e) No se controla la tasa de error de tipo I. En una ocasión llegan a calcularse 36 ANOVAs en un mismo trabajo o más de 100 correlaciones.

Para facilitar la elaboración de revisiones con calidad de los artículos, diversos grupos de investigadores, especialmente del área de la salud pública y la medicina, recomiendan utilizar formatos estandarizados para elaborar sus informes asegurando de este modo el análisis de los elementos esenciales relacionados con la calidad científica.

Los expertos que son elegidos para elaborar la revisión de los artículos candidatos a ser publicados en una determinada revista someten el trabajo a los factores que incluye el informe estandarizado de investigación, conocido también como “checklists”. Los elementos o ítems que forman los “checklists” varían en función de la metodología empleada en el trabajo y de su diseño, y analizan el contenido de los apartados TÍTULO, RESUMEN, INTRODUCCIÓN, MÉTODO, RESULTADOS Y DISCUSIÓN, del trabajo de investigación. La función de dichos ítems es chequear las pruebas que el trabajo de investigación aporta al conocimiento científico de modo que la valoración negativa de un ítem disminuye la calidad de la evidencia. Los formatos más importantes son los siguientes.

. CONSORT (Consolidated Standards for Reporting Trials): consta de 22 ítems dirigidos a la evaluación de ensayos clínicos aleatorizados (Altman, 2005; Altman, Schulz, Moher, Egger, Davidoff y cols, 2001; Moher, Schulz y Altman, 2001).

. TREND (Transparent Reporting of Evaluations with Nonradomized Designs): formado por 22 ítems sirve para valorar diseños no experimentales (no aleatorizados) (Des Jarlais, Lyles y Crepaz, 2004).

. MOOSE (Meta-Analysis of Observational Studies in Epidemiology): tiene 35 ítems cuyo objetivo es revisar estudios observacionales (Stroup y cols, 2000).

. QUOROM (Quality of Reporting of Meta-Analysis): consta de 17 ítems cuyo fin es valorar revisiones sistemáticas (Moher y cols. , 1999).

. STARD (Standards for Reporting of Diagnostic Accuracy): tiene 25 ítems y se utiliza para valorar la precisión de las pruebas diagnósticas (STARD Group, 2001).

En España disponemos del excelente trabajo de Ramos y Catena (2004) quienes han desarrollado unas normas para la elaboración y la revisión de investigaciones realizadas con una metodología experimental. Los criterios están organizados en siete apartados: antecedentes y motivaciones de la investigación, desarrollo teórico, diseño experimental, resultados, interpretación de los resultados y comunicación de los resultados a la comunidad científica mediante un informe estándar de investigación.

Cambios en las políticas editoriales

La calidad de las revistas es medida, entre otros aspectos, por el proceso de evaluación de los artículos que se publican en ella elaborado por un sistema de revisión por expertos (peer review process) donde dos o más revisores leen y analizan los artículos para determinar tanto la validez de las ideas y los resultados como su impacto potencial en el mundo de la ciencia (Campanario, 2002). Hasta tal punto los referees (expertos) son importantes que Ziman (1968) señala que el referee es la piedra angular de la que depende la ciencia.

Editores y revisores deben someter sus opiniones de expertos a un control externo validado y los formatos de informes de investigación estandarizados son una herramienta muy útil. El proceso de revisión por expertos es fundamental pero existe una amplia variación en el modo como los revisores llevan a cabo su tarea y, en algunas ocasiones, la objetividad del proceso de revisión es una cuestión abierta (Cicchetti, 1991; Fiske y Foog, 1990; Peters y Ceci, 1982). El área de la Medicina está especialmente preocupada por los problemas de la comunicación científica y gracias a la revista Journal of the American Medical Association se realizan desde 1989 congresos internacionales sobre la revisión por referees en publicaciones biomédicas (www. consort-statement. org/Translation).  El International Committee of Medical Journal Editors (ICMJE) elaboró en octubre de 2005 (www. consort-statement. org/Translation).  una nueva edición de los requisitos para los manuscritos que son enviados a revistas biomédicas y proporciona recomendaciones para la edición y elaboración de los artículos. En concreto, el informe señala que los autores de los manuscritos deben consultar las guías estandarizadas que sean relevantes para su diseño de investigación. Cuando se trata de ensayos aleatorizados los autores seguirán las directrices de CONSORT. Respecto a las cuestiones de diseño estadístico, el informe señala que cuando sea posible los hallazgos deben ir acompañados de indicadores de medida del error o incertidumbre como los intervalos de confianza, evitar el uso exclusivo de las pruebas de significación estadística ya que no informan del tamaño del efecto. La versión en español se puede consultar en www. consort-statement. org/Translation).

La conducta del investigador también debe someterse a las recomendaciones y las nuevas exigencias del análisis y diseño estadístico. El cambio en la conducta científica de los miembros que están implicados en el proceso del diseño de investigación (investigadores-editores-revisores) puede ser facilitado por el uso de los informes estandarizados de investigación. Y seguramente es la política editorial de las revistas la que puede marcar el inicio del cambio.

En estos momentos ya existe un movimiento entre las políticas editoriales de las revistas psicológicas que potencia la incorporación del informe estandarizado CONSORT como requisito para publicar. En 1996 un grupo internacional de editores biomédicos, investigadores, estadísticos y epidemiólogos publican los elementos de CONSORT en la revista JAMA con el objetivo de ayudar la calidad de los informes de los ensayos clínicos aleatorizado (Begg, Cho, Eastwood, Horton, Moher, Olkin, Rennie, Schulz, Simel y Stroup, 1996). Actualmente la política editorial establecida por Publications and Communications Board de la American Psychological Association requiere el uso de informes estandarizados que sigan las líneas de CONSORT (“checklist” y diagrama de flujo) para ensayos clínicos aleatorizados. Además las directrices del CONSORT han sido incorporadas a las directrices de la World Association of Medical Editors (WAME), el International Committee of Medical Journal Editors (ICMJE, The Vancouver Group) y el Council of Science Editors (CSE). Y ha sido publicado en ingles, holandés, alemán, francés, japonés, italiano, portugués, ruso y español entre otros (www. consort-statement. org/Translation).

A continuación presentamos algunos ejemplos de políticas editoriales actuales relacionadas con la psicología.

En el 2003 la revista Health Psychology (American Psychological Association) notifica en su editorial dos modificaciones que guiarán la publicación de los artículos. La primera está relacionada con informar de la estimación del tamaño del efecto junto con las pruebas estadísticas usuales y la segunda con el uso del procedimiento CONSORT para informar de los elementos que forman el diseño del estudio de ensayo clínico.

En el 2005 una de las revistas más destacadas de psicología clínica, Journal of Consulting and Clinical Psychology (American Psychological Association), ofrece el editorial de Annette M. La Greca donde se detallan los cambios del nuevo equipo editorial. Los esfuerzos del anterior editor Philip Kendall animando (encouragement) a los autores a informar de la significación clínica junto con la estadística sólo proporcionaron un pequeño incremento de su uso en los artículos (Findler, Cumming, Thomason, Pannuzzo, Smith y cols. , 2005). La política de La Greca es más restrictiva y señala la necesidad (requirement) de informar de la significación estadística y la significación clínica incluyendo los valores de tamaño del efecto y sus intervalos de confianza junto a los tests de significación estadística. Además cuando se trata de resultados de intervención los autores también deben incluir un indicador específico de cambio clínico.

Tanto en Health Psychology como en el Journal of Consulting and Clinical Psychology los manuscritos deben incluir al final del trabajo una figura que recoja la información básica del proceso del ensayo clínico como el procedimiento de aleatorización, el tamaño muestral a lo largo de las etapas del estudio y las razones asociadas al fenómeno de la atrición. Además el “checklist” será remitido con el manuscrito al editor. El autor valorará las limitaciones de su estudio que están relacionadas con la valoración negativa de algunos de los ítems de CONSORT.  

Los trabajos enviados a la revista que no incluyan el tamaño del efecto, cuando sea apropiado y la información CONSORT serán retornados a las autores para revisión. Arthur A. Stone (2003, editor de Health Psychology en ese año) concluye, “yo creo que la adopción de estas guías seguramente mejorará la calidad de los artículos publicados”. El Journal of Consulting and Clinical Psychology amplía las normas editoriales a los ensayos clínicos no aleatorizados. En estos casos los elementos de TREND deberán ser valorados por los autores de los manuscritos del mismo modo que con CONSORT.
En el área de la Medicina, el 22% de las revistas con impacto editadas en el 2003 siguen las directrices del CONSORT para presentar los resultados de las investigaciones con ensayos clínicos aleatorizados (Altman, 2005).

Disponer de herramientas que controlan la conducta de los autores de las investigaciones y también la tarea de revisión de los expertos y editores tiene que tener un efecto positivo sobre la calidad de las investigaciones publicadas. Dentro de este contexto de evaluación estandarizada los estudios con resultados nulos deben ser considerados y valorados con el mismo rigor y posibilidad de publicación que los estudios que señalan diferencias estadísticamente significativas. Además, la presentación del resultado nulo debe incluir la suficiente información que permita valorar la validez del hallazgo (Hebert, Wrigt, Dittus y Elasy, 2002). El sesgo de publicar sólo lo que funciona ya fue señalado por Melton en 1962 pero aún hoy no se sabe muy bien qué valor tiene un resultado estadísticamente no significativo o qué evidencia aporta (Altman y Bland, 1995). Lo que si que está claro es que las políticas editoriales también deben considerar la publicación de resultados nulos ya que su efecto debe ser considerado por la comunidad científica por ejemplo en los trabajos de meta-análisis donde su presencia puede disminuir el tamaño del efecto promedio (Rosenthal, 1979).

En definitiva, la implementación de políticas de intervención social basadas en la evidencia ha llevado a médicos, psicólogos, educadores, sociólogos… a evaluar sus intervenciones mediante el uso de diseños experimentales o cuasi-experimentales que garanticen una alta cualidad de la evidencia empírica comprobatoria. En algunos casos, la legislación ha promovido que los distintos grupos de profesionales basen sus decisiones, sean médicas, psicológicas o de cualquier otra índole, sobre modelos contrastados o solidamente probados. En última instancia, la intervención médica no puede sustentarse sobre la conveniencia, preferencia o rentabilidad, sino sobre criterios de racionalidad científica que permiten de manera racional y objetiva demostrar efectos, establecer relaciones y comprobar verdades.  

El problema es complejo se lo mire por donde se lo mire. Por ejemplo, equiparar el concepto de “prueba” (demostración empírica) con “comparación del grupo experimental con grupo de control” cuando la ciencia social, médica o psicológica ha puesto reiteradamente de manifiesto los inconvenientes o limitaciones del contraste de la hipótesis nula, es cuando menos atrevido y arriesgado. No es el anterior el único problema asociado al proceso de obtención de evidencia empírica y análisis de la misma, pero tiene suficiente enjundia para forzar una pequeña reflexión.

Que la comparación entre grupo experimental y grupo de control genere diferencias estadísticamente significativas no justifica un inmediato y palpable cambio en la práctica médica o psicológica, al igual que un resultado nulo tampoco lo justifica. Igualmente, un resultado estadísticamente significativo tampoco indica que el efecto obtenido sea grande, importante o de relevancia manifiesta. Los resultados estadísticamente significativos deberán ser evaluados a la luz de la experiencia, de la replicación de muchos estudios o de la colaboración con el mundo de la práctica médica o psicológica.

Por todo ello, a la hora de programar la obtención de evidencia o de evaluarla habrá que someterse al imperativo metodológico más exigente para que la calidad del producto sea incuestionable. Darle la importancia que tienen los aspectos metodológicos de la investigación es sin duda alguna la cuestión principal. En el artículo se han resaltado algunos aspectos imprescindibles para hacer válida la inferencia estadística. Sin pretender señalar los más importantes, sí es cierto que hay que darle el protagonismo que se merece a la fase de planificación de la investigación, tomando seriamente en consideración aquellos aspectos que van a determinar la validez de la misma: potencia estadística, tamaño de la muestra, efecto esperado…; eligiendo correctamente el diseño de investigación y el modelo de predicción de datos. Con demasiada frecuencia, se concede mayor importancia la fase de análisis de los datos que con ser importante, sin embargo, se presta poca atención a la comprobación de los supuestos sobre los que sustenta cualquier prueba estadística y que limita seriamente la aplicación de la misma y la interpretación posterior de los datos. Datos que a su vez pueden tener mayor o menor importancia al ponerlos en relación con otros de la misma índole procedentes de otras investigaciones y sin los cuales aunque sean dataos altamente improbables es posible que carezcan de sentido. No olvidar que el secreto de la ciencia exitosa es la replicación.

Referencias bibliográficas

Abraira, V. , Cadarso, C. , Gómez, G. , Martín, A. y Pita, S. (2001). La estadística en la investigación médica. Qüestió, 25, 121-156.

Altman, D. G. (2005). Endorsement of the CONSORT statement by high impact medical journals: a survey of instructions for authors. British Medical Journal, 330, 1056-1057.

Altman, D. G. y Bland, J. M. (1991). Improving doctors understanding of statistics. Journal of the Royal Statistical Society Series A- Statistics in Society, 154, 223-267.

Altman, D. G

IMPORTANTE: Algunos textos de esta ficha pueden haber sido generados partir de PDf original, puede sufrir variaciones de maquetación/interlineado, y omitir imágenes/tablas.