Autor/autores:
Lossio-Ventura JA, Weger R, Lee AY...(et.al)
Los proveedores de atención médica y los investigadores relacionados con la salud enfrentan desafíos importantes al aplicar herramientas de análisis de sentimientos a los datos de encuestas de texto libre relacionadas con la salud. La mayoría de las aplicaciones de última generación se desarrollaron en ámbitos como las redes sociales, y su r...
PUBLICIDAD
Estás viendo una versión reducida de este contenido.
Para consultar la información completa debes registrarte gratuitamente.
Tan sólo te llevará unos segundos.
Y si ya estás registrado inicia sesión pulsando aquí.
Los proveedores de atención médica y los investigadores relacionados con la salud enfrentan desafíos importantes al aplicar herramientas de análisis de sentimientos a los datos de encuestas de texto libre relacionadas con la salud.
La mayoría de las aplicaciones de última generación se desarrollaron en ámbitos como las redes sociales, y su rendimiento en el contexto de la atención sanitaria sigue siendo relativamente desconocido.
Además, los estudios existentes indican que estas herramientas a menudo carecen de precisión y producen resultados inconsistentes.
Este estudio tiene como objetivo abordar la falta de análisis comparativo sobre las herramientas de análisis de sentimiento aplicadas a los datos de encuestas de texto libre relacionadas con la salud en el contexto de COVID-19.
El objetivo era predecir automáticamente el sentimiento de sentencia para dos conjuntos de datos de encuestas independientes sobre COVID-19 de los Institutos Nacionales de Salud y la Universidad de Stanford.
Se crearon etiquetas estándar para un subconjunto de cada conjunto de datos utilizando un panel de evaluadores humanos. Comparamos 8 herramientas de análisis de sentimientos de última generación en ambos conjuntos de datos para evaluar la variabilidad y el desacuerdo entre las herramientas.
Además, se exploró el aprendizaje de pocas oportunidades mediante el ajuste de Open Pre-Trained Transformers (OPT; un modelo de lenguaje grande [LLM] con pesos disponibles públicamente) usando un pequeño subconjunto anotado y el aprendizaje de cero oportunidades usando ChatGPT (un LLM sin disponibilidad).
La comparación de las herramientas de análisis de sentimientos reveló una alta variabilidad y desacuerdo entre las herramientas evaluadas cuando se aplicaron a datos de encuestas relacionadas con la salud. OPT y ChatGPT demostraron un rendimiento superior, superando a todas las demás herramientas de análisis de sentimientos.
Además, ChatGPT superó a OPT, mostró una mayor precisión del 6% y una medida F más alta del 4% al 7%.
Este estudio demuestra la eficacia de los LLM, en particular los enfoques de aprendizaje de pocas oportunidades y de aprendizaje de ninguna oportunidad, en el análisis de sentimientos de los datos de encuestas relacionadas con la salud.
Estos resultados tienen implicaciones para ahorrar trabajo humano y mejorar la eficiencia en las tareas de análisis de sentimientos, lo que contribuye a los avances en el campo del análisis de sentimientos automatizado.
Para acceder al texto completo consulte las características de suscripción de la fuente original:https://mental.jmir.org/
