[Probabilidad-Estadistica-Seminario] Seminario de Probabilidad y Estadística - Ernesto Garcia (Udelar)

[seminarios en cmat.edu.uy]

Seminario de Probabilidad y Estadística
----------------------------------------

Título: "Exploración en Aprendizaje por Refuerzo con recompensas esparzas."

Expositor: Ernesto Garcia (Udelar)

Resumen:
 
Con el avance y la proliferación de algoritmos de aprendizaje por refuerzo (RL),
la etapa de exploración se identifica como una gran limitación, en gran medida
debido al desconocimiento previo del espacio de estados u otras particularidades
del proceso (de Markov) subyacente.

En este contexto, un agente inicia el recorrido del espacio de estados,
posiblemente de forma aleatoria al principio, y gradualmente construye un modelo
del paisaje de recompensas (o castigos) que se va encontrando en el camino. En
entornos con recompensas frecuentes, existen múltiples métodos de estimación que
permiten evaluar la política utilizada y así ponderar las trayectorias según su
costo energético de manera eficiente. Sin embargo, en escenarios con recompensas
escasas o esparzas, las regiones visitadas con frecuencia a menudo no aportan
información, lo que dificulta significativamente la exploración eficiente y a la
postre el aprendizaje.

En esta charla voy a introducir muy brevemente los ingredientes básicos de un
algoritmo de RL (los conceptos en itálica) y pensando en recompensas esparzas,
algunas estrategias para sacar a un proceso de Markov de su zona de confort:
exploración con un sistema de agentes (o partículas) independientes y una
aproximación de la dinámica de Fleming-Viot.

Esta charla se basa en un trabajo aún en curso con Paola Bermolen, Matthieu
Jonckheere y Seva Shneer en el marco de mi doctorado.

Esta charla se basa en un trabajo aún en curso con Paola Bermolen, Matthieu
Jonckheere y Seva Shneer en el marco de mi doctorado.
--------------------------------------------------------------------------------
Viernes 29/11 a las 10:30, Facultad de Ingeniería, salón 703.

Contacto: Alejandro Cholaquidis - acholaquidis en hotmail.com
--------------------------------------------------------------------------------
https://salavirtual-
udelar.zoom.us/j/88544669179?pwd=UlBHdWRWdEZVMGw0akpPeEd0VWJzZz09
--------------------------------------------------------------------------------
Más seminarios en: http://www.cmat.edu.uy/seminarios
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.cmat.edu.uy/pipermail/seminario-probabilidad-estadistica/attachments/20241127/eee668b6/attachment.html>