Evaluación de la emoción expresada: Descripción de algunos de los instrumentos utilizados para su medida.

Evaluación de la emoción expresada: Descripción de algunos de los instrumentos utilizados para su medida.

Juan Antonio Becerra García.

Universidad de Jaén

PALABRAS CLAVE: emoción Expresada, Evaluación, CFI, MH5M.

Resumen

La emoción Expresada (EE) es un constructo indicador de las actitudes emocionales y conductas de interacción de los familiares respecto al paciente. El clima familiar de alta EE constituye un estresor crónico que contribuye negativamente a la patología que presenta el enfermo, con lo que la EE se muestra como una variable a tener en cuenta, siendo necesaria su evaluación. En el presente trabajo se pretende realizar una breve descripción y aproximación a los principales instrumentos para la evaluación del constructo y se describen, entre otros, la técnica considerada como instrumento básico de medida de la EE, la CFI o entrevista Familiar de Camberwell, una entrevista de duración extensa que necesita ser evaluada por expertos. Algunas medidas más breves en formato entrevista, como la Versión Corta de la CFI y la muestra de Habla de 5 Minutos, que aunque tienen menor duración que la CFI, también necesitan ser administradas e interpretadas por expertos. Por último se describen diferentes escalas y cuestionarios desarrollados para medir la EE, algunos han sido la FAS (Family Attitude Scale), el FQ (Family Questionnaire) un cuestionario tipo autoinforme, el LEE (Level of Expressed Emotion) que incluye percepciones del paciente sobre el nivel de EE, el cuestionario de Evaluación de EE y la escala para Evaluar la emoción Expresada (EEE). Como conclusiones destacar que las pruebas clásicas presentan limitaciones, en aplicación y corrección, que merman su aplicabilidad clínica y las pruebas breves, surgidas para hacer más aplicable el constructo, requieren de mayor investigación que las desarrolle.



Introducción: Que es el constructo emoción expresada (EE)

La emoción Expresada (EE) es un constructo indicador de aspectos de la conducta emocional que dentro de un núcleo familiar se manifiestan hacia sus miembros enfermos, más concretamente hace referencia a la comunicación de los familiares del enfermo con éste. El constructo consta de cinco componentes, estos son los siguientes: 1) Criticismo (CC): Son comentarios críticos realizados por el familiar acerca del comportamiento del paciente, 2) hostilidad (H): Implica una evaluación negativa generalizada o un rechazo manifiesto del paciente como persona, 3) Sobreimplicación Emocional (SIE): refleja una respuesta emocional exagerada y desproporcionada del familiar: intentos, por parte del familiar, de ejercer un control excesivo sobre la conducta del paciente, desesperanza, autosacrificio, sobreprotección y manifestación emocional intensa, 4) Calor: Manifestaciones de empatía, comprensión, afecto, e interés hacia el paciente y 5) Comentarios Positivos: expresiones de aprobación, valoración o aprecio del paciente o de su conducta. El Índice o Nivel de EE de la familia se obtiene solamente a partir de los componentes de CC, H y SIE, que han mostrado el mayor valor predictivo en relación a la recaída [1].

Una familia que presenta una alta EE, es considerada como un estresor crónico para el enfermo. El constructo se ha mostrado como un predictor robusto y fiable del curso de la patología en pacientes con trastornos psiquiátricos, como esquizofrenia, trastornos del estado de ánimo, trastornos de la conducta alimentaria, trastornos de ansiedad, drogodependencias y demencia [2]. De esta manera los pacientes que viven en un ambiente de alta EE tienen mayor riesgo de recaída que los pacientes que se encuentran en ambiente familiar de baja EE. Basándose en estas investigaciones se han desarrollado programas de intervención familiar para reducir los niveles de EE en la familia para disminuir las proporciones de recaída. Además de con los familiares, la investigación en EE también se ha incluido en el estudio de la calidad del clima emocional entre los pacientes y cuidadores profesionales [3].

Teniendo en cuenta lo comentado, podemos decir que la EE se ha mostrado como una variable relevante a la hora de ser evaluada dentro de los estudios de predicción de recaídas en distintas patologías, pero uno de los principales problemas encontrados para tenerla en cuenta tiene que ver con a propia naturaleza de esa medición, el cómo se evalúa la EE. La primera de las pruebas para evaluar la EE fue la CFI (Camberwell Family Interview), considerada como el instrumento básico de evaluación su aplicabilidad a nivel clínico ha estado reducida por limitaciones como el excesivo tiempo que requiere y la necesidad de personal entrenado para administrarla, con lo que se han ido desarrollando medidas alternativas, con el objetivo de superar estos problemas, aunque las nuevos instrumentos desarrollados también han mostrado diferentes limitaciones. El objetivo del presente trabajo es describir los principales instrumentos utilizados en la evaluación del constructo EE y presentar y analizar sus limitaciones.

Medidas tradicionales del constructo

La principal técnica utilizada en la evaluación del constructo es una entrevista especialmente diseñada para identificar la presencia de EE, esta es la CFI o Camberwell Family Interview, basada en trabajos de Brown et al. 1972, el procedimiento consiste en entrevistar al familiar que convive con el paciente y explora aspectos relacionados con la enfermedad y con los problemas que surgen en la convivencia. La entrevista puede tener una duración extensa, de horas, posteriormente su grabación es analizada por expertos determinándose el nivel de EE por el número de comentarios críticos, actitudes hostiles y comentarios de sobreimplicación emocional hechos.  

La versión inicial fue modificada por Vaughn y Leff [4], en esta versión la CFI se trata de una entrevista semiestructurada de aproximadamente una hora y media de duración, que es grabada y que, mediante la historia de la patología, evalúa la puntuación del familiar en EE. Se declara a la familia como de alta EE, aunque ningún otro familiar muestre alta EE si el familiar entrevistado presenta 6 o más comentarios críticos o/y al menos un punto en hostilidad y dependiendo de si es hostilidad generalizada, se concede1 punto; de rechazo, 2 puntos o ambas, 3 puntos, y/o 3 o más puntos, según la intensidad de lo mostrado durante la entrevista en sobreimplicación emocional. [1]. Esta versión ha permitido ajustar la CFI a un formato más estructurado, facilitando la formación de entrevistadores expertos, siendo esta la versión de la CFI que se aplica actualmente, permitiendo evaluar los distintos estilos y componentes de la EE, presentando una buena validez predictiva y criterial.

Pero a pesar de ser considerada la CFI como el instrumento básico de evaluación de la EE, su aplicación en ambientes clínicos ha estado limitada por los siguientes motivos [5]:
1) La entrevista se focaliza en los síntomas y comportamiento relacionados con la enfermedad.  
2) En la CFI se emplea el criterio de experto clínico frente a un criterio de evaluación interjueces.
3) El excesivo tiempo requerido para realizar la entrevista (para la versión de Vaught y Leff es necesario emplear un periodo de tiempo de una hora y media).
4) El tiempo estimado de formación de los entrevistadores es también muy extenso.

Se ha propuesto una Versión Corta de la CFI, que dura la mitad de tiempo que la versión de Vaught y Leff en cuanto a la pasación, ha sido relacionada por los autores con la CFI, presentando correlación con esta versión de la CFI en comentarios críticos, sobreimplicación emocional y calidez y con las observaciones de los familiares durante la interacción con el enfermo en la solución de un problema [6]. Esta prueba también requiere de mucho tiempo para su corrección y de personal experto, siendo para algunos autores el personal experto un requisito indispensable en la corrección, afirmando que los expertos son necesarios para poder establecer adecuadamente la validez concurrente y predictiva de medidas alternativas de EE [7]

Para solventar los problemas del excesivo tiempo se han creado procedimientos más sencillos, a partir de muestras de habla con los familiares de 5 a 10 minutos de duración, la principal es la muestra de Habla de cinco minutos o Five Minutes Speech Simple-FMSS [8, 9]. En esta técnica se incita al familiar a hablar durante cinco (o más) minutos sobre los pensamientos y sentimientos que el enfermo suscita en él, así como de la relación que mantiene con este. Se codifica al igual que la CFI: criticismo, hostilidad o sobreimplicación emocional, siendo el criterio para clasificar al sujeto de alta EE el mostrar al menos un comentario crítico u hostilidad o cualquiera de los componentes de la sobreimplicación emocional [1]. En el caso de la MH su aplicabilidad clínica también ha estado limitada por motivos del extenso tiempo requerido en la formación de entrevistadores y por la necesidad de ser corregida por expertos y requerir fiabilidad interjueces.

Otras medidas breves del constructo

Una forma de intentar solventar las dificultades mostradas por la técnicas anteriores ha sido la elaboración de escalas, cuestionarios o inventarios para evaluar la EE, en la medida en que estos podrían ser utilizados más versátilmente, tendrían un carácter más genérico, no necesitarían de un personal experto entrenado para administrarlas, no necesitarían del criterio de experto para determinar el nivel el nivel de EE y se administrarían en relativo poco tiempo. Des esta forma se han elaborado diferentes inventarios tanto para ser aplicados a los familiares como para ser aplicados directamente a la persona que sufre un determinado clima familiar. En este punto se va a hacer referencia a las características de algunos de los instrumentos más importantes desarrollados para evaluar EE: 

1) escala de ambiente Familiar (FES-Family Environment Scale): [10] Es un instrumento que evalúa el clima emocional en el paciente y en el familiar. Esta formado por 90 ítem de Verdadero-Falso, divididos en tres dimensiones: 1) Relación, que contiene 3 escalas: cohesión, expresividad y conflicto. 2) Crecimiento Personal, tiene 5 escalas: independencia, orientación de logro, orientación intelectual y cultural, énfasis activo y recreativo y énfasis moral o religioso y 3) Mantenimiento del Sistema, con 2 escalas: organización y control. Las escalas tienen buena consistencia interna y estabilidad temporal que dependen de la muestra. No hay ningún punto de corte para la clasificación de alta o baja EE, no hay evidencia de validez concurrente con la CFI y presenta poco poder predictivo [11].

2) cuestionario de Influencia de las Relaciones (IRQ-Influential Relationships Questionnaire): [12] En esta prueba se pide a los pacientes que evalúen la conducta de las dos personas más importantes para ellos. Consta de 37 ítem divididos en 3 escalas: 1) Crítica, 2) Cuidado y 3) Protección; integrándose algunos ítem de hostilidad en la escala de evaluación de Crítica. No da información sobre un punto de corte para la clasificación en alta o baja EE. Las tres escalas tienen una buena consistencia interna (que va de 0, 76 a 0, 91) y una buena fiabilidad test-retest (de 0, 53 a 0, 85). Su validez concurrente se ha estudiado respecto a la CFI, encontrándose solo una correlación significativa entre la escala de SIE de la CFI y la escala de Crítica de la IRQ, pudiendo deberse la asociación a que la escala de crítica no es muy homogénea y puede incluir ítem que midan también SIE. Tiene un buen poder predictivo, y en concreto las escalas de cuidado y crítica pueden diferenciar entre pacientes que recaen y los que no lo hacen [13], otra muestra de esto es que en dos muestras de pacientes físicamente enfermos las puntuaciones en el IRQ podían predecir las quejas psiquiátricas [14]. El instrumento identifica fácilmente SIE y Críticas/Hostilidad, aunque la relación conceptual con la estructura original de la EE es incierto, posiblemente debido a que su desarrollo no esta basado en un instrumento de evaluación de la EE.

3) escala de Rechazo del Paciente (PRS-Patient Rejection Scale): [15] La prueba presenta dos versiones: una forma abreviada (PRS) y una más extensa (PRS-1), basadas ambas en la CFI. El PRS esta compuesta por 11 ítem y examina el criticismo y rechazo de los familiares. El PRS-1 esta formada por 24 ítem y también evalúa los aspectos como la aceptación y la frustración, no valorándose el componente de SIE. Una mayor puntuación en ambos instrumentos indica un nivel más alto de crítica y hostilidad en la PRS y PRS-1, y más aceptación y menor frustración en la PRS-1. La prueba no muestra un punto de corte claro para la clasificación en alta o baja EE. La consistencia interna de ambos instrumentos es buena (PRS = 0, 78; PRS-1= 0, 89), pero sólo el PRS ofrece información acerca de su estabilidad temporal (fiabilidad test-retest = 0, 72). Ambas muestran un solapamiento conceptual con las escala de H y CC de la CFI.

4) Nivel de emoción Expresada (LEE-Level of Expressed Emotion): [16] Es una escala para evaluar EE desde el punto de vista del familiar y desde el del propio paciente, permitiendo así captar las percepciones de los pacientes del nivel de EE recibido. La versión original trata de evaluar los componentes básicos de la EE, y esta compuesta de 60 ítem que evalúan cuatro actitudes características o estilos de respuesta: 1) Intrusividad, 2) Respuesta Emocional, 3) Actitudes Negativas hacia la enfermedad y 4) tolerancia y Expectativas hacia el Paciente. Cada uno de estos 4 componentes presentan 15 preguntas de verdadero-falso, hay una puntuación para cada escala y una puntuación total. El familiar presenta alta EE si sus puntuaciones están por encima de la mediana. La escala presentaba consistencia interna (0. 84–0. 89), fiabilidad test-retest (0. 67–0. 82), independencia de sexo, edad y cantidad de contacto [16]. Gerlsma, van der Lubbe y van Nieuwenhizen [17], identificaron tres factores altamente consistentes relacionados con la falta de apoyo emocional, intrusismo e irritabilidad, quedando reduciendo los 60 ítem iniciales a 33. Dichos factores presentan unas relaciones de moderadas a fuertes con los síntomas depresivos, insatisfacción en las relaciones interpersonales y estilos de afrontamiento, prediciendo la mejoría sintomática en pacientes depresivos ambulatorios en un periodo de seguimiento de 6 meses [18]. Por último, Startup [19], ha llevado a cabo un análisis factorial confirmatorio sobre el modelo trifactorial de Gerlsma et al. [17], encontrando índices de ajuste adecuados (todos superiores a 0, 70). El instrumento enfatiza la percepción del paciente frente a la información del familiar y necesita establecer su validez concurrente.

5) escala de Criticismo Percibido (PCS-Perceived Criticism Scale): [20] La escala originalmente fue usada para evaluar la crítica percibida por los pacientes depresivos de sus esposos/as. En ella el paciente debe responder a dos preguntas: 1) ¿Como de crítico piensa que es (su esposo/sa)? y 2) ¿Como de crítico cree que (su esposo/sa) es con usted?. Sus respuestas se codifican de 1 (Nada de Crítico) a 10 (muy crítico), y el punto de corte se fija en una puntuación de 4 o más. Presenta una buena estabilidad temporal y validez concurrente con la CFI, hay una correlación significativa entre la puntuación total en la PCS y el nivel global de EE (alta-baja). El PCS es independiente de la sintomatología del paciente pero hay una correlación negativa significativa con el funcionamiento social [21]. Nueve meses después de la evaluación, la PCS es un buen predictor de la recaída en pacientes depresivos, prediciendo una puntuación de 2 o menos la no recaída, mientras que una puntuación de 6 o más predecía el 100 % de las recaídas, los autores argumentan que el poder predictivo del PCS en este estudio era mayor que el poder predictivo de la CFI [20]. Aunque la facilidad de administración y puntuación, un claro punto de corte, y una buena validez concurrente y predictiva están a favor de la PCS, la escala de crítica de la CFI parece estar asociada conceptualmente con el PCS, pero los autores no encuentran ninguna correlación significativa entre ellas.

6) cuestionario de Evaluación de emoción Expresada (QAEE-Questionnaire Assessment of Expressed Emotion): [22] Compuesto inicialmente por 144 ítem, se redujeron 99 ítem agrupados en dos subescalas: 1) Criticismo/Hostilidad (70 ítem) y SIE (29 ítem). En esta prueba, los familiares tienen que indicar con que frecuencia muestran una conducta específica hacia el paciente, pudiendo ir las respuestas de 0 (nunca o casi nunca) a 3 (siempre o casi siempre). Los autores proporcionan un punto de corte claro y las dos subescalas muestran una alta consistencia interna (de 0. 90 a 0. 96). En la validación del cuestionario se administró junto con la CFI a familiares, encontrándose que la escala de Criticismo clasificó correctamente al 88 % de los familiares y la escala de sobreimplicación emocional solo clasifico al 67 % de los familiares [22]. No hay información sobre su validez predictiva y se necesita más información sobre sus propiedades psicométricas [3].

7) Lista de Adjetivos (AC-Adjective Checklist): [23, 24] Es un cuestionario tipo autoinforme destinado a los familiares, esta formado por 20 adjetivos, 10 con valor positivo (amoroso, amable, amistoso, cooperativo, considerado, claro, etc) y 10 con valor negativo (duro, perezoso, irritable, irresponsable, hostil, etc) que se presentan en forma de tormenta de ideas (brainstorming), conteniendo adjetivos que se corresponden con componentes de criticismo y SIE de la EE. Estos adjetivos se presentan alfabéticamente a los miembros de la familia y tienen que puntuar en 2 ocasiones: en la primera los familiares tienen que evaluar su conducta hacia el paciente y en la segunda evalúan la conducta del paciente hacia ellos. La consistencia interna de las escalas positiva (de 0, 91 a 0, 94) y negativa (de 0, 88 a 0, 92) es alta, no presenta punto de corte para clasificar en alta o baja EE. Su validez concurrente se ha estudiado comparándola con la CFI y la FMSS, encontrándose una correlación significativa entre los subgrupos de la CFI (altos y bajos en críticas y altos en SIE) y la puntuación en la escala de adjetivos negativos, respecto a la escala de adjetivos positivos no se encontró correlación; mientras que con la FMSS ambas escalas de adjetivos mostraron una correlación significativa. Siendo incierta su validez predictiva.

8) escala de actitud Familiar (FAS-Family Attitude Scale): Es una escala que se administra los familiares con la finalidad de obtener la versión de los familiares sobre el clima emocional. Esta compuesta por 30 ídem, e identifica tres factores: 1) Criticismo-Distanciamiento Emocional, 2) Criticismo-Hostilidad y 3) Distanciamiento Afectivo-Desconfianza en las Posibilidades del Otro. Ha sido comparada con la CFI, y esta comparación indica que una alta EE medida mediante la CFI se asocia con una alta puntuación en la FAS en familiares de pacientes esquizofrénicos. Sus propiedades psicométricas muestran ajustes adecuados tanto en su consistencia interna (0, 95) como en su capacidad para predecir niveles críticos pero no da un punto de corte para diferenciar entre alta y baja EE y no incluye componentes como la SIE [25].

9) cuestionario Familiar (FQ-Family Questionnaire): Es un cuestionario tipo autoinforme para medir el nivel de EE en los familiares, identifica componentes como el criticismo y la sobreimplicación emocional, la prueba hace una clasificación correcta de familias con alta EE en un 74 % de los casos, además tenia la mejor correlación con la CFI en sobreimplicación emocional que otros cuestionarios cortos de evaluación de EE, aunque no aísla un elemento claro de la EE como es la hostilidad [26].

10) escala para Evaluar emoción Expresada (EEE): escala formada por 40 ítem, para obtener información sobre el modo en que los padres se relacionan con sus hijos, para obtener información del clima familiar basándose en los componentes de la EE. Esta formada por 6 factores: 1) Bajo grado de tolerancia de los padres ante determinados comportamientos de los hijos, estos son los componentes de criticismo, 2) Componente positivo o comentarios positivos, 3) Componente de sobreimplicación emocional, 4) Componente de desconfianza en las posibilidades del otro, 5) hostilidad como impaciencia hacia el comportamiento del otro y 6) hostilidad como pérdida de control. La prueba muestra un coeficiente alfa global de 0, 87, manteniendo los coeficientes de los factores unos niveles adecuados (todos superiores a 0, 70). Presenta unas relaciones positivas y significativas con los factores de la FAS [5]. La prueba no se ha comparado con instrumento tradicionales de evaluación de la EE y no se ha utilizado muestra clínica en su validación.

Como se puede observar, los nuevos instrumentos de evaluación tampoco están libres de problemas, siendo algunos de los encontrados en la descripción realizada los siguientes:
- No presentar ningún punto de corte para la clasificación de la familia en alta o baja EE.
- En algunas no hay evidencia de su validez concurrente respecto a la CFI
- Existen escalas donde no se contemplan algunos de los componentes de la EE o no los aíslan de manera adecuada.
- En otras se entremezcla elementos de la EE, produciéndose un solapamiento conceptual entre componentes.
- Otras no están basadas en instrumentos de evaluación de la EE.
- No muestran información sobre su validez predictiva.
- No utilizan muestra clínica en su validación.

Conclusiones

Las principales limitaciones que muestran las pruebas tradicionales de evaluación de la EE, debidas al extenso tiempo requerido en cuanto a la pasación (CFI) y corrección (CFI y FMSS) y a la necesidad de personal experto para su corrección y el tiempo requerido para la formación de estos (CFI y FMSS), han limitado su aplicabilidad clínica, dando paso al desarrollo de pruebas breves que solventaban los problemas de tiempo requerido por estas y la de necesidad de personal experto para administrarlas y corregirlas. Las nuevas pruebas surgidas han mostrado otros problemas de relevancia en la evaluación del constructo EE, lo que ha hecho que la prueba inicialmente concebida para la evaluación de la EE se muestre como el instrumento más relevante para medirla.  

En la creación de nuevos instrumentos de evaluación de la EE se deberían tener en cuenta los problemas mostrados por las pruebas breves desarrolladas hasta el momento con el objetivo de desarrollar una prueba aplicable clínicamente, que aísle adecuadamente los componentes de la EE, presente validez concurrente y este basada en instrumentos de evaluación de la EE (preferiblemente en la CFI), que tenga un punto de corte claro para clasificar a las familias de alta y baja EE y que muestre validez predictiva.

Referencias

1. Muela JA, Godoy JF. Reactividad de la Medida de la emoción Expresada durante un Ingreso. Iberpsicología 2003; 8: 1-4.
2. Wearden A, Tarrier N, Barrowclough C, Zastowny T, Rahill A. A review of expressed emotion research in health care. Clin Psychol Rev 2000; 20(5): 633-66.
3. Van Humbeeck G, Van Audenhove C, De Hert M, Pieters G, Storms G. Expressed emotion: A review of assessment instruments. Clin Psychol Rev 2002; 22(3): 321-41.
4. Vaughn C, Leff J. The measurement of expressed emotion of families of psychiatric patients. Br J Soc Clin Psychol 1976; 15: 157-65.
5. Méndez A, Orta E, Peñate W. Primeros datos de validación de una escala para evaluar la emoción expresada (EEE). análisis Modificación de conducta 2004; 30(132): 591-621.
6. Mueser K, Bellack A, Wade J. Validation of a short version of the Camberwell Family Interview. Psychol Assess 1992; 4(4): 524-9.
7. Hooley J, Richters J. Alternative measures of expressed emotion: A methodological and cautionary note. J Abnorm Psychol 1991; 100(1): 94-7.
8. Gottschalk L, Falloon I, Marder S, Lebell M, Gift T, Wynne L. The prediction of relapse of schizophrenic patients using emotional data obtained from their relatives. Psychiatry Res 1988; 25: 261-76.  
9. Magana A, Goldstein J, Karno M, Miklowitz D, Jenkins J, Falloon I. A brief method for assessing expressed emotion in relatives of psychiatric patients. Psychiatry Res 1986; 17:203-12.  
10. Moos RH, Moos BS. Family Environment Scale Manual. Palo Alto, CA: Consulting Psychologists Press; 1981.
11. Schnur DB, Friedmann S, Dorman M, Redford HR, Kesselman M. Assessing the family environment of schizophrenic patients with multiple hospital admissions. Hosp Community Psychiatry 1986; 37(3): 249–52.
12. Baker B, Helmes E, Kazarian SS. Past and present perceived attitudes of schizophrenics in relation to rehospitalization. Br J Psychiatry 1984; 144, 263-9.
13. Baker B, Kazarian S, Marquez JA. Perceived interpersonal attitudes and psychiatric complaints in patients with essential hypertension. J Clin Psychol 1994; 50(3): 320–4.
14. Clarke DE, Walker JR, Cuddy TE. The role of perceived overprotectiveness in recovery 3 months after myocardial infarction. J Cardiopulm Rehabil 1996; 16(6): 372–7.
15. Kreisman D, Blumenthal R, Borenstein M, Woerner M, Kane J, Rifkin A, et al. Family attitudes and patient social adjustment in a longitudinal study of outpatient schizophrenics receiving low dose neuroleptics: the family’s view. Psychiatry 1988; 51: 3–13.
16. Cole JD, Kazarian SS. The Level of Expressed Emotion Scale: a new measure of expressed emotion. J Clin Psychol 1988; 44(3): 392-7.
17. Gerlsma C, Van der Lubbe P, Van Nieuwenhuizen C. Factor análisis of the level of expressed emotion scale. A questionnaire Intented to measure “perceived expressed emotion”. Br J Psychiatry 1992; 160:385-9.
18. Gerlsma C, Hale WW. Predictive power and construct validity of the Level of Expressed Emotion (LEE) scale. Depressed out-patients and couples from general community. Br J Psychiatry 1997; 170:520–5.
19. Startup M. Confirmatory factor analysis of the Level of Expressed Emotion (LEE) scale. Br J Med Psychol 1999; 72(3):421-4.
20. Hooley JM, Teasdale, J. D. (1989). Predictors of relapse in unipolar depressives: expressed emotion, marital distress, and perceived criticism. J Abnorm Psychol; 98(3), 229–235.
21. Riso LP, Klein DN, Anderson RL, Ouimette PC, Lizardi H. Convergent and discriminant validity of Perceived Criticism for spouses and family members. Behav Ther 1996; 27:129–37.
22. Docherty NM, Serper MR. Development and preliminary validation of a questionnaire assessment of expressed emotion. Psychol Rep 1990; 67(1): 279-87.
23. Friedmann MS, Goldstein MJ. Relatives’ awareness of their own expressed emotion as measured by a self-report adjective checklist. Fam Process 1993; 32:459–71.
24. Friedmann MS, Goldstein MJ. Relatives’ perceptions of their interactional behavior with a schizophrenic family member. Fam Process 1994; 33: 377–87.
25. Kavanagh D, O'Halloran P, Manicavasagar V, Clark D, Piatkowska O, Tennant C, et al. The family attitude scale: reliability and validity of a new scale for measuring the emotional climate of families. Psychiatry Res 1997; 70: 185-95.
26. Wiedemann G, Rayki O, Feinstein E, Hahlweg K. The Family Questionnaire: Development and validation of a new self-report scale for assessing expressed emotion. Psychiatry Res 2002; 109(3): 265-79.