La información de los códigos de corteza orbitofrontal de primates es relevante para gestionar las compensaciones de exploración-explotación

El aprendizaje de refuerzo (RL) se refiere al proceso de aprendizaje conductual para obtener recompensas y evitar el castigo. Un componente importante de RL es la compensación explorar-explotar, que se refiere al problema de elegir entre explotar opciones con valores conocidos y explorar opciones desconocidas.

Examinamos correlatos de esta compensación, así como otras variables relacionadas con RL, en la corteza orbito-frontal (OFC), mientras que tres monos machos realizaron una tarea de aprendizaje de bandidos de 3 brazos. Durante la tarea, las nuevas opciones de elección reemplazan periódicamente las opciones familiares.

Los valores de las nuevas opciones eran desconocidos, y los monos tuvieron que explorarlos para ver si eran mejores que otras opciones disponibles actualmente. La identidad del estímulo elegido y el resultado de la recompensa estaban fuertemente codificados en las respuestas de las neuronas OFC individuales. Estas dos variables definen los estados y las transiciones de estado en nuestro modelo que son relevantes para la toma de decisiones. El valor elegido de la opción y el valor relativo de explorar esa opción se codificaron en niveles intermedios. También encontramos que la codificación del valor OFC era específica del estímulo, en oposición al valor de codificación independiente de la identidad de la opción. La ubicación de la opción y el valor del entorno actual se codificaron en niveles bajos.

Por lo tanto, encontramos la codificación de las variables relevantes para el aprendizaje y la mediación de la compensación de exploración-explotación en OFC. Estos resultados son consistentes con los hallazgos en el estriado ventral y la amígdala y muestran que esta red conectada mono-sinápticamente juega un papel importante en el aprendizaje basado en las consecuencias inmediatas y futuras de las elecciones.

Para acceder al texto completo consulte las características de suscripción de la fuente original:https://www.jneurosci.org