.jpg)
El equipo de Daniel Szoke en el Rush University Medical Center acaba de publicar en JMIR Mental Health la validación de ASTRA, el primer sistema externo diseñado específicamente para auditar conversaciones completas entre un paciente y una IA de salud mental. No evalúa al modelo en abstracto. Evalúa, frase a frase, lo que el modelo dice y lo que el paciente revel...
PUBLICIDAD
Crea tu cuenta gratis y léelo completo ahora.
¿Ya estás registrado? Inicia sesión aquí .
El equipo de Daniel Szoke en el Rush University Medical Center acaba de publicar en JMIR Mental Health la validación de ASTRA, el primer sistema externo diseñado específicamente para auditar conversaciones completas entre un paciente y una IA de salud mental. No evalúa al modelo en abstracto. Evalúa, frase a frase, lo que el modelo dice y lo que el paciente revela, en ocho categorías de riesgo: ideación suicida, autolesión, respuestas dañinas del propio chatbot, escalada de síntomas, y otras cuatro situaciones que un clínico reconoce al instante. Los autores probaron ASTRA contra cien conversaciones sintéticas escritas por terapeutas con licencia que sembraron señales tanto explícitas como sutiles. ASTRA superó el 90% de exactitud en todas las categorías y alcanzó concordancia "casi perfecta" con los evaluadores humanos (kappa entre 0,65 y 1,00). En la detección de indicadores de autolesión, donde más nos importa, el sistema captó incluso lo expresado de forma indirecta.
Esto cambia el marco regulatorio que veníamos asumiendo. Hasta ahora la pregunta era "¿es seguro este chatbot?". Pregunta de respuesta imposible. La nueva pregunta es "¿quién vigila esta conversación concreta?", y a esa sí se le puede contestar con un sistema independiente. La analogía clínica más directa: ASTRA es a un chatbot de salud mental lo que el revisor de pares es a un manuscrito, o lo que la segunda lectura es a una mamografía. No juzga al modelo: juzga el output.
Lo que pasa es que el otro estudio de la semana, divulgado por Axios sobre el benchmark mPACT de la consultora Mpathic, mete el dedo en la llaga: los grandes modelos conversacionales (GPT, Claude, Gemini) manejan razonablemente bien las señales explícitas de riesgo, pero fallan en cuanto las señales son ambiguas, progresivas o aparecen embebidas en conversaciones largas. Eso encaja con lo que cualquiera de nosotros ve en la consulta: el paciente que de verdad nos preocupa no dice "tengo ideas de suicidio". Dice "he estado pensando que mi familia estaría mejor sin mí" tres mensajes antes, y luego cambia de tema. La "empatía aparente" del LLM tropieza ahí. ASTRA cubre justo ese hueco.
A esta historia se le añade otra escena de la semana: en Melbourne, una psiquiatra ha hecho público que no acepta pacientes nuevos si no firman el consentimiento para usar un sistema de transcripción IA durante las consultas. The Guardian lo recoge con cierta polémica. La cuestión es legítima en las dos direcciones. El AI scribe ahorra dos horas de pasar a limpio cada día y permite mirar al paciente a los ojos en lugar de a la pantalla. Pero hacer la herramienta condición de acceso es otra cosa. Cuando llega a tu consulta el paciente, vas a tener una conversación que hace cinco años no existía: "¿qué pasa con lo que se transcribió cuando dije aquello?". Y los datos preliminares de Barrison y colaboradores en International Journal of Medical Informatics, también esta semana, muestran que la mitad de los pacientes ni siquiera distingue qué partes de la respuesta del médico han sido generadas por IA cuando se les enseña una declaración estándar de "este texto puede contener contenido asistido por IA". El consentimiento informado, tal y como lo entendemos, todavía no funciona aquí.
Y, por si quedaba alguna duda de que el debate ya no es periférico, esta misma semana se publica en Scientific Reports el trabajo del grupo de Johannes Lieslehto sobre 253 peritajes forenses del hospital de Niuvanniemi, Finlandia. Un modelo de lenguaje, entrenado con la sección "evaluación psiquiátrica" de cada informe, predice la decisión final de imputabilidad con AUROC 0,90. Combinando todas las secciones, 0,94. El modelo identifica que los marcadores lingüísticos de psicosis y desorganización pesan a favor de la inimputabilidad, mientras que la conducta organizada y los rasgos antisociales pesan en sentido contrario. Es asociación, no causalidad, y el modelo está entrenado en finés sobre un único hospital. Pero la idea es ahora demostrable: un LLM puede auditar el razonamiento agregado de los peritos. ¿Qué le decimos al juez cuando esto se replique en español?
Tres frentes, un mismo problema. El chatbot que habla con tu paciente. El transcriptor que escribe tu nota. El modelo que reconstruye el razonamiento del perito. En los tres casos, lo importante esta semana no es que la IA pueda hacerlo. Es que por primera vez tenemos herramientas para mirar por dentro. Que los modelos sean cajas negras dejó de ser inevitable el día en que ASTRA superó el 90% de exactitud auditando a otros modelos.
¿Qué hacer mañana en la consulta? Tres cosas concretas. Una, cuando un paciente te mencione que usa un chatbot, no respondas con un "no lo use". Pregunta cuál, cuánto tiempo lleva, y de qué le habla por la noche. Esa información ya forma parte de la historia clínica. Dos, si usas o vas a usar AI scribe, escribe tú mismo el texto del consentimiento, en términos que un paciente con depresión moderada entienda, y léelo con él en la primera consulta. La transparencia se construye con palabras, no con casillas que se marcan. Y tres, si haces peritajes forenses, ten presente que la documentación de tu razonamiento (no solo la conclusión) va a ser auditable por sistemas externos antes de lo que pensamos.
ReferenciasSzoke D, Hutzler I, Liu J, Addante S, Akhtar Z, Smith DL, Dickins K, Small C, Pridgen S, Held P. Automated Safety Testing and Reporting Application for Conversational Safety Monitoring of Generative AI Tools for Mental Health: Development and Validation Study. JMIR Mental Health 2026;13:e91367. CC BY 4.0 ✅. DOI: 10.2196/91367
Lieslehto J, Tiihonen J, Lähteenvuo M, Seppänen A. Large language model approach to uncover reasoning patterns in forensic psychiatric assessment. Scientific Reports 2026;16:179xxx. CC BY 4.0 ✅. DOI: 10.1038/s41598-026-53275-z
Barrison PD, Platt J, Ackerman MS, Friedman CP, Vinson AH. Patient Perceptions and preferences for the disclosure of artificial intelligence generated draft replies to electronic messages — A qualitative study. International Journal of Medical Informatics 2026;217:106507. Licencia Elsevier — verificar acceso CC. DOI: 10.1016/j.ijmedinf.2026.106507
Axios / Mpathic. AI chatbots struggle with subtle mental health cues. Axios, 12 mayo 2026. No peer-reviewed, divulgación del benchmark clínico mPACT. URL: https://www.axios.com/2026/05/12/ai-chatbots-mental-health-cues
The Guardian. Melbourne psychiatrist refuses new patients who don't consent to AI note-taking. The Guardian, 19 mayo 2026. No peer-reviewed, contexto deontológico. URL: https://www.theguardian.com/australia-news/2026/may/19/melbourne-psychiatrist-ai-note-taking-new-patients
Explora el artículo con IA