El problema de evaluar un mensaje aislado Cuando una empresa o un regulador quiere saber si un chatbot de salud mental es seguro, normalmente hace lo siguiente: le envía mensajes de prueba que simulan una crisis ("estoy pensando en hacerme daño", "ya no quiero vivir") y evalúa si el chatbot responde de forma apropiada. Si el chatbot da el número de crisis y no ...
PUBLICIDAD
Crea tu cuenta gratis y léelo completo ahora.
¿Ya estás registrado? Inicia sesión aquí .
El problema de evaluar un mensaje aislado
Cuando una empresa o un regulador quiere saber si un chatbot de salud mental es seguro, normalmente hace lo siguiente: le envía mensajes de prueba que simulan una crisis ("estoy pensando en hacerme daño", "ya no quiero vivir") y evalúa si el chatbot responde de forma apropiada. Si el chatbot da el número de crisis y no da instrucciones peligrosas, pasa el test.
El problema es que ese test no se parece en nada a cómo ocurre el daño real.
Morrin, Au Yeung, Agnew y colaboradores describen tres mecanismos de daño que no generan ninguna respuesta explícitamente peligrosa, pero que son clínicamente muy relevantes. El primero: un paciente ansioso que usa el chatbot de madrugada porque no puede dormir acaba en un bucle de conversaciones nocturnas que refuerzan la privación de sueño sin que ningún mensaje individual sea alarmante. El segundo: una persona con tendencia al aislamiento social que encuentra en el chatbot un interlocutor disponible las 24 horas empieza a necesitar cada vez menos el contacto humano, también sin ningún mensaje de riesgo. El tercero, y el más preocupante desde el punto de vista psiquiátrico: un paciente con ideas de referencia o pensamiento paranoide que conversa con un chatbot diseñado para validar emocionalmente al usuario puede ver sus interpretaciones delirantes confirmadas semana tras semana, simplemente porque el sistema responde con empatía genérica a todo lo que se le dice.
Ninguno de esos tres procesos dispararía una alerta en los tests de seguridad actuales. Todos pueden causar daño clínico real.
Lo que pedían los pacientes que ya los usan
Al mismo tiempo, un estudio cualitativo publicado en la misma revista entrevistó a 17 adultos con experiencia vivida de depresión después de que interactuaran con un chatbot basado en GPT-4o llamado Zenny, diseñado específicamente para el apoyo en depresión.
Lo que pedían estos pacientes es revelador, no porque sea sorprendente, sino porque contrasta tanto con lo que la mayoría de los chatbots actuales ofrecen.
Primero, querían información concreta y accionable. No validación emocional en bucle, sino orientación práctica: qué hacer esta tarde cuando llegue la ansiedad, cómo preparar la conversación con el psiquiatra de la próxima semana, qué significa el síntoma que están notando. Segundo, querían honestidad sobre los límites del sistema. Cuando el chatbot respondía con frases genéricas del tipo "eso debe de ser muy difícil para ti", los participantes lo detectaban inmediatamente como vacío y perdían confianza en la herramienta. Preferían que el chatbot dijera "no sé responder bien a eso, pero puedes comentárselo a tu médico" a que simulara una comprensión que no tiene. Tercero, y esto es importante, querían que el chatbot funcionara como puente hacia el clínico, no como sustituto. La frase que resume mejor sus expectativas: ayúdame a preparar la consulta, no a evitarla.
Ese tercer punto merece subrayarse porque invierte la narrativa dominante. El temor habitual en la profesión es que los pacientes usen los chatbots en lugar de acudir al psiquiatra. Pero los propios usuarios con experiencia de depresión dicen que lo que quieren es exactamente lo contrario: una herramienta que les ayude a llegar mejor a la consulta.
Mientras tanto, la prensa construye la historia
Un tercer estudio, de la Universidad de Montreal, analizó 71 artículos de prensa publicados entre septiembre de 2025 y enero de 2026 sobre casos de daño psiquiátrico asociado a chatbots de IA. El hallazgo más llamativo no está en los datos técnicos, sino en el patrón narrativo: el 41% de las noticias utilizó un tono alarmista, los casos de suicidio en adolescentes norteamericanos dominaron absolutamente la cobertura, y el encuadre predominante fue de responsabilidad corporativa y regulatoria, casi nunca clínica.
Por qué esto importa en la consulta: tus pacientes, y sobre todo sus familias, se forman una imagen de los chatbots de IA principalmente a través de esa prensa, no a través de artículos científicos. Cuando un adolescente llega a consulta diciendo "es que vi que un chatbot llevó a alguien a suicidarse", no está describiendo un hecho verificado; está reproduciendo un encuadre narrativo construido por titulares. Ese encuadre puede ser parcialmente cierto o completamente descontextualizado, pero es el que va a moldear la conversación clínica si no lo conoces.
La pregunta práctica que surge de estos tres estudios juntos no es si los chatbots son seguros o peligrosos en abstracto. Es: ¿qué le preguntas a tu paciente cuando descubres que está usando uno?
Una propuesta concreta, que no requiere ninguna tecnología adicional: incluye en tu anamnesis habitual tres preguntas cortas. ¿Usas algún chatbot o aplicación de salud mental? ¿Con qué frecuencia y en qué momentos del día? ¿Qué te aporta y qué te falta? Con esas tres preguntas tienes suficiente para saber si el uso es complementario o está ocupando el espacio del contacto humano, si refuerza el tratamiento o lo bordea, y si el paciente tiene expectativas realistas sobre lo que la herramienta puede y no puede hacer.
No hace falta esperar a que los reguladores definan el marco. La anamnesis es tuya.
comentado por Dr. Pedro Moreno, editor senior de psiquiatria.com
Referencias
Morrin H, Au Yeung J, Agnew Z, Østergaard SD, Pollak TA, et al. It Is the Journey, Not the Destination: Moving From End Points to Trajectories When Assessing Chatbot Mental Health Safety. JMIR Mental Health. 2026;13:e91454.
https://doi.org/10.2196/91454
AI Chatbots for Mental Health Self-Management: Lived Experience–Centered Qualitative Study. JMIR Mental Health. 2026;13:e78288.
https://doi.org/10.2196/78288
Chung VH, Bernier P, Hudon A, et al. Mass Media Narratives of Psychiatric Adverse Events Associated With Generative AI Chatbots: Rapid Scoping Review. JMIR Mental Health. 2026;13:e93040.
https://doi.org/10.2196/93040
4,2 créditos
Inicio: 22/04/2026 |Precio: 120€
Ver curso
Explora el artículo con IA