Introducción


El uso de modelos de lenguaje de gran tamaño (LLM) como apoyo en salud mental ha crecido de forma exponencial en los últimos años. Cada vez más usuarios recurren a sistemas conversacionales basados en inteligencia artificial (IA) para gestionar malestar emocional, ansiedad, depresión o ideación suicida, especialmente cuando el acceso a profesionales es limitado. Sin embargo, este avance plantea una cuestión crítica: ¿son realmente seguros estos sistemas cuando se utilizan en contextos clínicamente sensibles?


Tradicionalmente, la seguridad de los LLM se ha evaluado mediante conjuntos de pruebas simuladas o benchmarks compuestos por escenarios hipotéticos. Aunque útiles en fases tempranas de desarrollo, estos enfoques presentan limitaciones importantes cuando se trata de estimar el comportamiento real de la IA en entornos clínicos. Un estudio reciente propone un cambio de paradigma: evaluar la seguridad de la IA en salud mental a partir de conversaciones reales con usuarios, a gran escala.


Limitaciones de las evaluaciones basadas en simulación


La mayoría de los estudios sobre seguridad en IA utilizan baterías de preguntas diseñadas por expertos que simulan situaciones de riesgo, como peticiones explícitas sobre métodos suicidas o autolesiones. El problema es que este tipo de pruebas no refleja adecuadamente la complejidad del lenguaje humano real, especialmente en salud mental.


Las personas rara vez expresan su malestar de forma directa. La ideación suicida, la autolesión no suicida (NSSI) o el consumo problemático de sustancias suelen aparecer de manera indirecta, ambigua o contextual. Además, los benchmarks clásicos suelen ser pequeños, con pocos cientos de ítems, lo que dificulta detectar errores de baja frecuencia pero alto impacto clínico.


En este contexto, el trabajo analiza cómo los fallos detectados en pruebas simuladas pueden sobreestimar el riesgo real cuando los sistemas se despliegan con arquitecturas de seguridad adecuadas y entrenamiento específico. Según el propio artículo, la auditoría ecológica complementa los tests porque el lenguaje de riesgo en el mundo real es heterogéneo y a menudo indirecto 


IA de propósito general frente a IA diseñada para salud mental


Uno de los hallazgos más relevantes del trabajo es la diferencia entre los LLM de propósito general y los sistemas diseñados específicamente para salud mental. En pruebas comparativas de seguridad, el sistema especializado mostró tasas menores de respuestas habilitadoras o dañinas que los modelos generalistas en dominios clínicamente sensibles.


Comparativas de contenido potencialmente dañino


En los prompts de referencia del estudio, el sistema de apoyo en salud mental (diseñado específicamente) registró proporciones de respuestas dañinas inferiores a las de los modelos generalistas en áreas como suicidio/NSSI, trastornos de la conducta alimentaria y consumo de sustancias .


Auditoría ecológica: 20.000 conversaciones reales


El núcleo del estudio es una auditoría ecológica basada en más de 20.000 conversaciones reales de usuarios con un sistema de IA diseñado para apoyo en salud mental. El análisis se centra en cómo se detectan y gestionan señales de suicidio y NSSI en condiciones de uso reales, no solo en escenarios simulados. El manuscrito describe un proceso de evaluación con muestreo de conversaciones, un juez basado en LLM y revisión clínica de sesiones seleccionadas.


Resultados clave en riesgo suicida y NSSI



  • En la revisión clínica de las conversaciones marcadas, los autores informan de cero casos de riesgo suicida que no recibieran recursos de crisis.

  • En el conjunto de 20.000 conversaciones, se describen tres menciones de riesgo de NSSI que no activaron intervención de crisis.

  • Entre las sesiones marcadas por el juez LLM, el manuscrito reporta una tasa de falsos negativos del sistema extremo a extremo del 0,38% como límite inferior para fallos de seguridad en el mundo real.


Arquitecturas de seguridad en capas: por qué importa el “sistema” y no solo el modelo


Más allá del modelo conversacional, el estudio pone el foco en una arquitectura de seguridad “en profundidad”: un sistema de diálogo alineado a objetivos terapéuticos, complementado por clasificadores independientes que monitorizan riesgo suicida/NSSI y desencadenan recursos de crisis cuando se superan umbrales. Este enfoque reduce el riesgo de depender de un único componente y permite aplicar medidas conservadoras sin convertir toda interacción en un guion de crisis.


Implicaciones para psiquiatría, investigación y regulación


Para profesionales de salud mental y gestores sanitarios, el mensaje principal es metodológico: la seguridad en IA para salud mental debería evaluarse con un enfoque más cercano a la vigilancia continua que a una “certificación” basada en una sola batería de pruebas. En otras palabras, combinar benchmarks (para estrés controlado) con auditorías ecológicas (para realismo y detección de riesgos de cola).


Este giro es relevante para:



  • equipos clínicos que recomiendan o supervisan herramientas digitales de apoyo,

  • comités éticos y responsables de calidad asistencial,

  • investigadores que diseñan métricas de evaluación de seguridad y eficacia,

  • reguladores que exigen evidencia de seguridad en condiciones de uso reales.


Conclusiones prácticas


El estudio respalda una idea operativa: la seguridad en IA aplicada a salud mental no depende únicamente de “filtros” a la salida, sino de un diseño integral que combine entrenamiento alineado al dominio, detección independiente de riesgo y evaluación continua en despliegue. Para la comunidad clínica, esto ayuda a enmarcar la discusión con mayor precisión: no se trata solo de si un modelo “pasa un test”, sino de cómo se comporta el sistema completo cuando interactúa con el lenguaje real del malestar psicológico.


Marc Moreno. Comité científico psiquiatria.com


Tipo de licencia: Creative Commons Attribution 4.0 International (CC BY 4.0)
commons.org/licenses/by/4.0/


Stamatis CA, Meyerhoff J, Zhang R, et al. Beyond Simulations: What 20,000 Real Conversations Reveal About Mental Health AI Safety. arXiv:2601.17003. Disponible en: https://doi.org/10.48550/arXiv.2601.17003