Significación sustantiva y depresión infantil

Introducción.

La aceptación de la depresión infantil como un trastorno que puede afectar a los niños y adolescentes fue la principal conclusión del IV Congreso de la Unión de Paidopsiquiatras Europeos celebrado en 1971 en Estocolmo (Annell, 1972). Casi treinta años después los resultados de las investigaciones apoyan su existencia con síntomas afectivos, cognitivos, motivacionales y vegetativos semejantes a los de la depresión adulta, incluyendo además síntomas asociados específicos para cada edad y nivel de desarrollo. La aceptación de su existencia supuso como consecuencia la elaboración de criterios capaces de diagnosticar la presencia del trastorno depresivo en la infancia y adolescencia (DSM-IV, American Psychological Association, 1994a), la creación de escalas de medida (Kaslow y Rehm, 1991; McConaughy, 1992), el desarrollo de los estudios de prevalencia (Institute of Medicine, 1989), la búsqueda de la etiología (Wicks, e Israel, 1996) y la puesta en marcha de terapias específicas para su tratamiento (Stark, Sommer, Bowen, Goetz y Vaughn, 1997).

Los datos de prevalencia del trastorno no son unánimes. Por ello deben ser analizados teniendo en cuenta el criterio que define el constructo ya que en ocasiones nos encontramos con informes sobre presencia de sintomatología mientras que en otros casos los resultados se refieren al estado afectivo propiamente patológico, o bien se trata de poblaciones diferentes (Hammen y Compas, 1994; Kaslow, Deering, y Racusin,1994). Los estudios de Rutter, Tizard y Whitmore (1970) comenzaron a aportar datos sobre la prevalencia de la depresión infantil, observando que aproximadamente el 1% de los niños de diez años presentaba síntomas de depresión. Además los problemas eran mucho más frecuentes en la etapa de la adolescencia que antes de su llegada (Rutter, 1986), resultado replicado posteriormente en otras investigaciones (Ciccheti y Toth, 1995; Kashani, 1989). En 1995 el trabajo de Goodyar (1995) sitúa la prevalencia de la depresión clínica entre el 1.8% y el 8.9%. En el estudio longitudinal con una duración de cinco años realizado por Nolen-Hoeksmea, Girgus y Seligman (1992) se concluye que aproximadamente entre del 10% al 15% de los niños de la población general informan de niveles de moderados a severos de síntomas de depresión. En España, el estudio epidemiológico llevado a cabo por Polaino y Doménech (1988) con 6432 niños entre 9 y 10 años señala una prevalencia de la depresión mayor del 1.8% y para el trastorno distímico del 6.4%. En concreto en la ciudad de Valencia (España) el 8.2% de los escolares entre nueve y doce años presentan síntomas de depresión (Frías, 1990).

Análisis estadístico de la eficacia de la terapia

La elaboración de técnicas de intervención que mejoren o eliminen los problemas emocionales y cognitivos de los sujetos con patologías, disminuyendo de este modo la prevalencia de los trastornos, es uno de los principales objetivos que el profesional se propone en su labor aplicada. Disponer de técnicas de análisis de los datos que sean válidas y muestren la realidad de los fenómenos objeto de estudio constituye el control de calidad que toda intervención debe pasar para mostrar sus datos a la comunidad científica. Y son los métodos cuantitativos de contraste de hipótesis estadística de nulidad de efectos los que destacan tradicionalmente como técnica más utilizada en los diseños cuasi-experimentales pre/post con grupo de control no equivalente, realizando comparaciones entre las puntuaciones de pre-tratamiento y las de post-tratamiento para determinar si la terapia es la responsable de los cambios clínicos, utilizando grupos de comparación o control no sometidos a la intervención.

Las peculiaridades de los objetivos de la investigación aplicada han favorecido que en la actualidad el investigador se plantee la necesidad de ir más allá de la significación estadística tradicional obtenida con las pruebas de contraste estadístico. Esta búsqueda de la utilización de otros recursos para la investigación científica está directamente motivada por la significación practica que el área de la investigación aplicada demanda con insistencia (Aiken, West, Sechrest y Reno, 1990; Kirk, 1996), donde la significación estadística usual no da respuestas satisfactorias a las preguntas relacionadas con la magnitud de los efectos detectados.

Los investigadores, especialmente aquellos que están interesados en la aplicación de la ciencia para solucionar problemas prácticos, no desean conocer si el tratamiento tuvo algún efecto sino que desean conocer si el tratamiento tiene el efecto que ellos plantean (Fowler, 1985) o también puede suceder que el cambio estadísticamente significativo no indique el verdadero valor terapéutico (Howlin, 1997), prevaleciendo en este caso la importancia de la significación sustantiva, práctica o la denominada significación clínica entendida como la magnitud del cambio atribuida al tratamiento terapéutico (Kendall, Flannery-Schroeder y Ford, 1999) que permite que el funcionamiento del sujeto pueda ser considerado normal.

Por lo tanto, se plantean análisis alternativos al procedimiento estadístico clásico, defendiendo la necesidad de formular la hipótesis de nulidad de efectos no en términos de valor cero (hipótesis nil o vacía en términos de Cohen, 1994), sino en valores distintos de cero (non-nil hipótesis), por mínimos que sean.

Cuando el profesional formula la hipótesis de investigación puede cuestionarse dos interrogantes: ¿el tratamiento tiene efectos? (la hipótesis nula se formularía en términos de no-efectos como valor cero) o, en cambio, ¿el tratamiento tiene un efecto de una cuantía determinada o por encima de un valor determinado? (La hipótesis nula no se formula necesariamente en términos de valor cero). En este ultimo caso estará haciendo referencia a si el tratamiento tiene efectos suficientemente grandes como para ser un cambio clínicamente sustantivo.

Diferentes métodos cuantitativos del cambio terapéutico sustantivo o de análisis de la eficacia del tratamiento permiten analizar si el valor obtenido cumple con el criterio cuantitativo estipulado por la hipótesis de investigación o si el nivel de funcionamiento del sujeto después de la terapia se encuentra dentro de los límites considerados ‘normales’. Dentro de la primera orientación destacamos la técnica del meta-análisis donde la estimación del tamaño del efecto medio es el índice de referencia (Glass, 1976; Hedges y Olkin, 1985; Hunter, Schmidt y Jackson, 1982; Rosenthal y Rubin, 1978) y el test de efectos mínimos (Murphy y Myors, 1999). Como técnicas representativas de puntuaciones dentro de la normalidad nos encontramos con el método de comparaciones normativas (Kendall y Grove, 1988) y el Índice del Cambio Fiable (Reliable Change Index, RCI, Jacobson, Follette & Revenstorf, 1984; Jacobson y Truax, 1991; Jacobson, Roberts, Berns y McGlinchey, 1999; Ogles, Lambert y Masters, 1996).

El tamaño del efecto es un índice en una métrica común que indica la magnitud de una relación entre variables o el efecto de una variable independiente sobre la dependiente (Cohen, 1988), por ejemplo se puede expresar en términos de diferencias estandarizadas como la media del grupo de terapia menos la media del grupo de control dividido por la desviación estándar común (véase para el cálculo por ejemplo Kirk, 1996, Friedman, 1982 y Snyder y Lawson, 1993). Conviene tener claro desde el principio que el valor de la estimación del tamaño del efecto debe ser interpretado en el contexto de un estudio y área concreta de intervención ya que un pequeño tamaño del efecto puede ser de gran importancia práctica en un contexto dado. La técnica del meta-análisis proporciona un tamaño del efecto medio de la eficacia de la terapia objeto de investigación.

Los resultados de la técnica cuantitativa de tres trabajos de meta-análisis sobre psicoterapia con niños y adolescentes sitúan el tamaño del efecto medio cercano al 0.80 que Cohen (1988) consideraba como "grande" (véase tabla 1), destacando con ello su efecto beneficioso.

Tabla 1. Tamaño del efecto y terapia con niños y adolescentes

Estudios	Muestra	Años estudiados	Tamaño del efecto medio
Casey y Berman (1985)	£ 12 años	1952-1983	0.71
Kazdin, Bass, Ayers y Rodgers (1990)	4-18 años	1970-1988	0.88 , 077
Weisz, Weiss, Alicke y Klotz (1987)	4-18 años	1958-1984	0.79

Aunque en términos generales se remarca la eficacia de la psicoterapia, (Casey y Berman, 1985; Shapiro y Shapiro, 1982), es cierto que en ciertas ocasiones, los autores han mantenido cierto escepticismo acerca de su efecto (Eysenck, 1952; Levitt, 1957; Barret, Hampe y Miller, 1978). En estos casos conviene tener en cuenta el tipo de terapia al que está haciendo referencia el estudio. De este modo los resultados de los estudios de meta-análisis señalan que la terapia con niños sí reduce sus problemas conductuales y emocionales, al menos en los denominados estudios de terapia de investigación (Casey y Berman, 1985; Dobson, 1989; Weisz, Weiss, Ham, Granger y Morton, 1995) caracterizados por tratamientos limitados en tiempo y altamente estructurados. Sin embargo, los resultados cambian drásticamente cuando analizamos los datos de los trabajos de meta-análisis con la denominada terapia tradicional (Weiss, Catron, Harris y Phung, 1999), por otra parte mucho menos estudiada. (por ejemplo, Jensen, Hoagwood y Petti (1996) únicamente encontraron dos estudios centrados en terapia tradicional llevada a cabo en los servicios de salud mental con niños). En estudios de comparación de ambas modalidades de terapia se observa que mientras el tamaño del efecto medio es de 0.77 para la terapia de investigación, es de 0.01 para la terapia infantil tradicional (Weisz, Donenberg, Han y Weiss, 1995), resultado semejante al obtenido con la terapia tradicional por Weiss, Catron, Harris y Phung (1999) con un valor medio de -0.08, aunque en el estudio sí se detectó mayor satisfacción en los padres de los niños que había recibido la intervención en comparación con el grupo de control que había sido sometido a sesiones de tutoría académica.

En el área concreta de la eficacia de la psicoterapia infantil con problemas de depresión los resultados meta-analíticos señalan su efecto beneficioso (Nietzel, Russell, Hemmings y Gretter,1987). Utilizando la terapia cognitiva los resultados de Dobson (1989) señalan tamaños del efecto de -2.15 (amplitud = -0.58 a -7.24) cuando se compara el grupo de terapia cognitiva con el grupo de no tratamiento, mejorando el 98% de los niños, de -0.46 (amplitud = -0.33 a -1.03) cuando se compara con la terapia conductual (mejoría del 67% de los sujetos), y con un valor de -0.53 (amplitud = -0.42 a -1.74) respecto a la terapia farmacológica, con una mejoría del 70% de los sujetos que reciben la terapia cognitiva respecto a los que han sido sometidos a fármacos. En concreto, en la etapa de la adolescencia los estudios de meta-análisis sobre la terapia cognitivo-conductual para la depresión estiman un tamaño del efecto medio de -1.27 (Lewinsohn y Clarke, 1999), mejorando significativamente el 63% de los sujetos al finalizar la intervención, resultado semejante al obtenido por Reinecke, Ryan y Dubois (1998) con el mismo tipo de terapia estimando un valor de tamaño del efecto medio de -1.02.

El planteamiento que orienta la perspectiva del test de efectos mínimos parte de la comprobación estadística de que la intervención tiene un efecto igual a o menor que un valor mínimo fijado a priori. Si, por ejemplo, el investigador decide que la terapia que explica el 1% de la varianza tiene un efecto excesivamente pequeño como para que sea útil o practico su uso, entonces su tarea consistirá en desarrollar un test estadístico que determine cuán grande ha de ser un tamaño del efecto en una muestra particular para que explique menos del 1% de la varianza. Ese test será una razón F, determinando el valor necesario para rechazar la hipótesis que el efecto en la población es igual o menor que el fijado.

La forma tradicional de proceder a la hora de comparar la F empírica con la teórica consiste en acudir a las tablas de la distribución F que aparecen en los manuales y que están basadas sobre la distribución centrada de la F, es decir, la distribución de la F que esperaríamos en caso de efectos cero en la población. En cambio, el test de efectos mínimos se basa en la distribución F no centrada y para desarrollar las tablas con las que testar la hipótesis nula de efectos mínimos, el investigador deberá a) desarrollar la definición operacional de tamaño mínimo; b) calcular el tamaño de no centralidad para tal efecto mínimo y c) tabular la correspondiente distribución de F no centrada. En este planteamiento se nos presentan dos problemas. Primero cómo definir de manera sensata el “efecto mínimo”. Segundo, cómo generar las tablas de F no centrada.

La definición de qué es el efecto mínimo requiere un juicio de valor que escapa al análisis y es previo. Es un problema dependiente de la teoría, de la praxis o del consenso. Otras veces la determinación del tamaño de efecto mínimo puede que exija un análisis de utilidad o de costos y de relevancia social o clínica o cualquier otro criterio que se estime oportuno. Siempre y en cualquier caso, habrá que justificarlo y definirlo y no dar por supuesto como un “prejuicio” dogmáticamente establecido que ese valor ha de ser siempre el valor cero. Por lo tanto, dependerá del área a investigar y de otras concomitancias y también de criterios estadísticos porque conforme se defina un tamaño del efecto mínimo mayor, la potencia del modelo general lineal para detectar tal efecto decrece, es decir aumenta por tanto la probabilidad de cometer error Tipo II (no detectar un efecto que realmente sí existe). Por lo tanto, antes de llevar a cabo la investigación habrá que delimitar cuál es la relación de riesgo que se acepta respecto de los errores de Tipo I (detectar un efecto que realmente no existe) y II. La relación correcta se puede suponer que es de uno a cuatro como afirma Cohen (1988) o se puede suponer mayor o menor según las circunstancias concretas como por ejemplo el área de investigación.

Desde otra perspectiva, plantear la búsqueda del cambio clínicamente significativo supone definir la normalidad del constructo y conocer los datos del grupo normativo de referencia (Kendall y Grove, 1988). En general, los datos normativos de los grupos normal y patológico se suelen informar en los manuales de los instrumentos de medida del constructo o en los estudios psicométricos y de prevalencia. Por consenso y en términos generales, se suele considerar que la puntuación en el constructo o fenómeno objeto de estudio es 'normal' cuando la puntuación se encuentra en  una desviación típica de la puntuación media del grupo normativo de referencia. De este modo, si la media del grupo sometido a terapia se sitúa dentro de  una desviación típica de dicho grupo normativo entonces se considera que ambos grupos son indistinguibles.

Estos procedimientos tienen su fundamento en comprobar que finalizada la terapia el grupo sometido a la intervención es equivalente al grupo normativo. Esta idea se encuentra en el procedimiento de las comparaciones normativas. Esta técnica está interesada en analizar si los sujetos que han recibido la terapia se diferencian de los denominados sujetos 'normales' en el constructo sometido a intervención, llevando a cabo una comparación de los datos del grupo de terapia con los datos normativos de muestras que poseen las mismas características socio-demográficas (Kendall, Marrs-Garcia, Nath y Sheldrick, 1999).

En el trabajo de Finch, Saylor y Edwards (1985) se presentan datos normativos del Children´s Depression Inventory (CDI) por sexo y curso académico obtenidos con una muestra de 1463 niños escolarizados entre 7 y 16 años, situando la puntuación media en 9.65 (desviación típica = 7.3). En la misma revista y número pero utilizando una muestra clínica de 39 sujetos entre 8 y 16 años con trastornos de depresión, Haley, Fine, Marriage, Moretti y Freeman (1985) señalan una puntuación media en el CDI de 18 cuando el trastorno es afectivo mientras que es de 7.3 cuando el sesgo es de naturaleza cognitiva. En el trabajo de Frías (1990) con una muestra de 1286 escolares valencianos (España) entre 8 y 13 años la puntuación media es de 10.292 (desviación típica = 5.519).

En otras ocasiones los instrumentos de medida facilitan al usuario el punto de corte que se considera que diferencia a los grupos normal y patológico junto con los datos de sensibilidad y especificidad (verdaderos positivos y verdaderos negativos) de la escala. La elección de un mayor o menor punto de corte afectará de manera diferencial a tales características, aumentando la especificidad pero disminuyendo paralelamente la sensibilidad del instrumento cuando el punto de corte es mayor.

En el caso del instrumento Children's Depression Inventory (CDI; Kovas 1983), uno de los más utilizados como prueba de screening de presencia de sintomatología depresiva en la infancia y adolescencia, existen resultados obtenidos con diferentes punto de corte. En el trabajo de Kovacs (1983) con población clínica se detallan tres puntos de corte: con 13 la sensibilidad es del 51% (especificidad del 75%), con 12 del 62% (especificidad del 68%) y con 11 del 67 (especificidad del 60%). En el trabajo epidemiológico realizado en diferentes ciudades de España (Polaino y Domènech, 1988) se obtuvo con una submuestra de 152 niños un valor de 32.3% de sensibilidad, siendo la especificidad del 94.3% con el punto de corte de 19. En el trabajo de Frías (1990) el 8.7 de las niñas y el 7.6% de los niños obtuvieron una puntuación a  19, no existiendo diferencias estadísticamente significativas por la variable sexo.

El Índice del Cambio Fiable (Reliable Change Index, RCI) también permite determinar la importancia práctica del efecto estadístico. Este índice define el cambio en términos de la fiabilidad del instrumento de medida entendida como consistencia de las puntuaciones. Su cómputo consiste en dividir la diferencia entre las puntuaciones del post-tests menos la del pre-test por el error estándar de medida. Si el valor obtenido de RCI es mayor de 1.96 entonces la diferencia se considera fiable ya que un cambio de tal magnitud no se podría esperar debido a la baja fiabilidad de la medida. Por el contrario si la puntuación de RCI es de 1.96 o menos entonces el cambio no se considera fiable dado que puede haber ocurrido por la baja fiabilidad de la media. El índice señala que para hablar de cambio sustantivo no es suficiente con que sea fiable sino que además hay que comprobar que al final de la terapia el funcionamiento psicológico del sujeto se encuentra es indistinguible del resto de su población, manteniéndose dentro de los límites considerados normales en la variable de interés.

En definitiva, la búsqueda del análisis válido del cambio terapéutico requiere computar y analizar el cambio sustantivo, práctico o clínico. Quizás, poder contrastar hipótesis nulas con efecto distinto a cero (hipótesis "non-nil nulls") enriquecería nuestras teorías psicológicas, avanzado el conocimiento y eliminando ciertas polémicas sobre la trivialidad de testar hipótesis con efecto cero al mismo tiempo que evitaríamos la interpretación de resultados estadísticamente significativos sin importancia práctica. Los trabajos de Serlin y Lapsley (1985, 1993) acerca de "good-enough hypothesis" y Rouanet (1996) con métodos bayesianos profundizan en esta perspectiva.

Como conclusión señalar en primer lugar que la estimación del tamaño del efecto del tratamiento y la definición de los efectos mínimos daría sentido a la formulación sustantiva de las hipótesis cuyos efectos dependerán del área psicológica concreta en la que se formulen. La alternativa, conocida como “test de hipótesis de efectos mínimos”, parece ser una vía interesante y de futuro para mejorar muchas de las investigaciones que se realizan tanto en el área de la psicología aplicada como de la ciencia básica; en ambas situaciones la reformulación de la hipótesis nula en los términos descritos puede generar una investigación más precisa que sirva a los intereses de predecir con mayor exactitud las derivaciones teóricas y a la mejor elección de los tratamientos psicológicos más eficientes. Es una buena manera de aplicar la sugerencia recogida en la última edición del Manual de la American Psychological Association. (1994b) que obliga a “informar e interpretar el tamaño del efecto poniéndolo en relación con los resultados previos ya conocidos”. Otra ventaja que los autores añaden (Murphy y Myors, 1998) es que evitaría que un resultado no estadísticamente significativo simplemente lo fuera al aumentar el tamaño de la muestra (aspecto duramente criticado con la aplicación de las pruebas tradicionales de contraste de hipótesis de efecto cero ) ya que con el método de los efectos mínimos si los efectos reales del tratamiento son triviales, la probabilidad de rechazar la hipótesis de un efecto mínimo no se incrementa a medida que el tamaño de la muestra aumenta sino que decrece.

En segundo lugar, la utilización de datos normativos que permitan conocer si el sujeto se encuentra dentro de su amplitud después del tratamiento también es una medida óptima del cambio clínicamente significativo. En este punto la decisión del profesional girará de nuevo en definir la amplitud de las puntuaciones de normalidad y/o el punto de corte que separaría la patología del funcionamiento adaptado. La investigación aplicada actual necesita evaluar y definir los puntos de corte y su utilidad para definir el cambio sustantivo, identificando correctamente los verdaderos positivos y los verdaderos negativos. De este modo se maximizará la correcta identificación del cambio provocado por la intervención.

Referencias bibliográficas

Aiken, L. S., West, S. G., Sechrest, L. y Reno, R. R (1990). Graduate training in statistics, methodology and measurement in psychology. American Psychologist, 45, 721-734.

American Psychological Association (1994a). Diagnostic and Statistical Manual of Mental Disorders. (4th ed.). Washington, DC: APA.

American Psychological Association (1994b) Publications manual of the American Psychological Association (4th ed.). Washington, DC: Author.

Annell, A.L. (1972). Depressive states in childhood and adolescence. Stockholm, Almquist & Wiksell.

Barrett, C.L., Hampe, I.E. y Miller, L.C. (1978). Research on child psychotherapy. En S.L. Garfield y A.E. Bergin (eds.). Handbook of psychotherapy and behavior change: An empirical analysis. New York: Wiley and Sons.

Casey, R.J. y Berman, J.S. (1985). The outcome of psychotherapy with children. Psychological Bulletin, 98, 388-400.

Ciccheti, D. y Toth, S. (1995). Developmental psychopathology, and disorders of affect. En D. Ciccheti y D. Cohen (eds.). Developmental psychopathology, Volume 2: Risk, disorder and adaptation. New York, NY: John Wiley & Sons, Inc.

Cohen, J. (1988). Statistical power analysis for the behavioral science (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates.

Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49, 997-1003.

Dobson, K.S. (1989). A meta-analysis of the efficacy of cognitive therapy for depression. Journal of Consulting and Clinical Psychology, 57(3), 414-419.

Eysenck, H.J. (1952). The effects of psychotherapy: An evaluation. Journal of Consulting and Clinical Psychology, 16, 319-324.

Finch, A.J., Saylor, C.F. y Edwards, G.L. (1985). Children´s Depression Inventory: sex and grade norms for normal children. Journal of Consulting and Clinical Psychology, 53, 424-425.

Fowler, R. L. (1985). Testing for substantive significance in applied research by specifying nonzero null hypotheses. Journal of Applied Psychology, 70, 215-218.

Frías, M.D. (1990). Relación entre autoestima y depresión en población infantil valenciana. Universitat de València: Tesis Doctoral no publicada.

Friedman, H. (1982). Simplified determinations of statistical power, magnitude of efect and research sample size. Educational and Psychological Measurement, 42, 521-526.

Glass, G. V. (1976). Primary, secondary and meta-analysis of research. Educational Researcher, 5, 3-8.

Haley,G.M., Fine, S., Marriage, K., Moretti, M.M. y Freeman, R.J. (1985). Cognitive bias and depression in psychiatrically disturbed children and adolescents. Journal of Consulting and Clinical Psychology, 53, 535-537.

Hammen, C. y Compas, B.E. (1994). Unmasking unmasked depresión in children and adolescents: The problem of comorbidity. Clinical Psychology Review, 14(6), 585-603.

Hedges, L. V. y Olkin, I. (1985). Statistical methods for meta-analysis. Orlando, FL: Academic Press.

Hunter, J. E., Schmidt, F. L. y Jackson, G. B. (1982). Meta-analysis: cumulating findings across research. Beverly Hills, CA: Sage.

Institue of Medicine (1989). Research of mental illsness and addictive disorders: Progress and Prospects (Suplement). American Journal of Psychiatry, 1142-, 1-41.

Jacobson, N.S. y Truax, P. (1991). Clinical significance: A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59, 12-19.

Jacobson, N.S., Follette, W.C. y Revenstorf, D. (1984). Psychotherapy outcome research: Methods for reporting variability and evaluating clinical significance. Journal of Consulting and Clinical Psychology, 15, 336-352.

Jacobson, N.S., Roberts, L.J., Berns, S.B. y McGlinchey, J.B. (1999). Methods for defining and determining the clinical significance of treatment effects: Description, application and alternatives. Journal of Consulting and Clinical Psychology, 67(3), 300-307.

Jensen, P.S., Hoagwood, K. y Petti, T. (1996). Outcomes of mental health care for children and adolescents: II. Literature review and application of a comprensive model. Journal of the American Academy of Child and Adolescent Psychiatry, 35, 1064-1077.

Kaslow, N. y Rehm, L. (1991). Childhood depresión. En T. Kratochwill y R. Morris (eds.). The practice of child therapy (3rd. edition). New York, NY: Pergamon Press.

Kaslow, N.J., Deering, C.G. y Racusin, G.R. (1994). Depressed children and their families. Clinical Psychology Review, 14(1), 35-39.

Kazdin, A.E., Bass, D., Ayers, W.A. y Rodgers, A. (1990). Empirical and clinical focus of child and adolescent psychotherapy research. Journal of Consulting and Clinical Psychology, 58, 729-740.

Kendal, P.C., Marrs-Garcia, A., Nath, S.R. y Sheldrick, R.C. (1999). Normative comparisons for the evaluation of clinical significance. Journal of Consulting and Clinical Psychology, 67, 285-299.

Kendall, P.C. y Grove, W.M. (1988). Normative comparisons in therapy outcome. Behavioral Assessment, 10, 147-158.

Kendall, P.C., Flannery-Schroeder , E.C. Ford, J.D. (1999).Therapy outcome research methods. En P.C. Kendall, J.N. Butcher y G.N. Holmbeck (eds.). Handbook of research methods in clinical psychology. New York: Wiley and Sons.

Kirk, R. E. (1996). Practical significance: a concept whose time has come. Educational and Psychological Measurement, 56, 746-759.

Kovacs, M. (1983). The Children´s Depression Inventory: a self-rated depression scale for school-aged youngsters. University of Pittsburgh School of Medicine. Manuscrito no publicado.

Levitt, E.E. (1957). Results of psychotherapy with children: An evaluation. Journal of Counseling Psychology, 21, 189-196.

Lewinsohn , P.T. y Clarke, G.N. (1999). Psychological treatments for adolescent depression. Clinical Psychology Review, 19(3), 329-342.

McConaughy, S. (1992). Objective assessment of children's behavioral and emotional problems. En C.E. Walker y M.C. Roberts (eds.). Handbook of Clinical Child Psychology (2nd edition).

Murphy, K. R. & Myors, B. (1998). Statistical power analysis: A simple and general model for traditional and modern hypothesis tests. Mahwah, NJ: Lawrence Erlbaum Associates.

Murphy, K. R. & Myors, B. (1999). Testing the hypothesis that treatments have negligible effects: Minimun-effect tests in the general linear model. Journal of Applied Psychology, 84, 234-2484.

Nietzel,M.T., Russell, R.L., Hemmings, K.A. y Gretter, M.L. (1987). The clinical significance of psychotherapy for unipolar depression: A meta-analytic approach to social comparison. Journal of Consulting and Clinical Psychology, 55, 156-161.

Nolen-Hoeksmea, S., Girgus, J.S. y Seligman, M.E. (1992). predictors and consequences of childhood depressive sympyoms: A 5-year longitudinal study. Journal of Abnormal Psychology, 101(3), 405-422.

Ogles, B.M., Lambert, M.J. y Masters, K.S. (1996). Assessing outcome in clinical practice. Boston: Allyn and Bacon.

Polaino, A. y Doménech , E. (1988). La depresión en los niños españoles de 4º de E.G.B. Barcelona: Geigy.

Reinecke, M.A., Ryan, N.E. y Dubois, D.L. (1998). Cognitive-behavioral therapy of depression and depressive symptoms during adolecence: A review and meta-analysis. Journal of the American Academy of Child and Adolescence Psychiatry, 37, 26-34.

Rosenthal, R y Rubin, D. (1978). Interpersonal expectancy effects: the first 345 studies. Statistical Science, 3, 120-125.

Rouanet, H. (1996). Bayesian methods for assessing importance of effects. Psychological Bulletin, 119, 149-158

Rutter, M., (1986). The developmental psychopathology of depression. Issues and perspectives. En M. Rutter, Izard y Read (eds.). Depression in young people. New York: Guilford Press.

Rutter, M., Tizard, J. y Whitmore, K. (1970). Education, health and behaviour. London: Logman Group, Ltd.

Serlin, R. C., & Lapsley, D. K. (1985). Rationality in psychological research: the good-enough principle. American Psychologist, 40, 73-83.

Serlin, R. C., & Lapsley, D. K. (1993). Rational appraisal of psychological research and the good enough principle. En G. Keren y C. Lewis, (Eds.), A handbook for data analysis in the behavioral sciences: methodological issues. Hillsdale, NJ: Lawrence Erlbaum.

Shapiro, D.A. y Shapiro, D. (1982). Meta-analysis of comparative therapy outcome studies: A replication and refinement. Psychological Bulletin, 92, 581-604.

Snyder, P. & Lawson, S. (1993). Evaluating results using corrected and uncorrected effect size estimates. Journal of Experimental Education, 61, 334-349.

Stark, K.D., Sommer, D., Bowen, B., Goetz, C., Doxey, M.A. y Vaughn, C. (1997). Depressive disorders during childhood. En G.G. Bear, K.M. Minke y A. Thomas (eds.). Children's needs II. Development, problems and alternatives. Bethesda: National Association of School Psychologists.

Weiss, B., Catron, T., Harris, V. y Phung, T.M. (1999). The effectiveness of traditional child psychotherapy. Journal of Consulting and Clinical Psychology, 67(1), 82-94.

Weisz, J.R., Donenberg, G.R., Han, S.S. y Weiss, B. (1995). Bridging the gap between lab and clinic in child and adolescent psychotherapy. Journal of Consulting and Clinical Psychology, 63, 688-701.

Weisz, J.R., Weiss, B., Alicke, M.D. y Klotz, M.L. (1995). Effectiveness of psychotherapy with children and adolescents: A meta-analysis for clinicians. Journal of Consulting and Clinical Psychology, 55, 542-549.

Weisz, J.R., Weiss, B., Ham, S.S., Granger, D.A. y Morton, T. (1995). Effects of psychotherapy with children and adolescents revisited: A meta-analysis of treatment outcome studies. Psychological Bulletin, 117(3), 450-468.

Wicks, N. e Israel, A. (1996). Behavior disorders of Childhood (3rd edition). Englewood Cliff, NJ: Prentice –Hall.