[Probabilidad-Estadistica-Seminario] Seminario de Probabilidad y Estadística

[seminarios en cmat.edu.uy]

Seminario de Probabilidad y Estadística
----------------------------------------

Título: "El fenómeno de "doble descenso" en regresiones"

Expositor: Soledad Villar (Johns Hopkins University)

Resumen:
 
Aprendizaje automático (machine learning) y en particular aprendizaje profundo
(deep learning) son de las áreas de investigación más activas en los últimos
tiempos. Una característica particular en aprendizaje profundo es que modelos
con una cantidad enorme de parámetros (incluso mayor que la cantidad de datos de
entrenamiento) generalizan bien a datos no observados. Un artículo de Belkin y
colaboradores publicado en PNAS en 2019 identifica un fenómeno conocido como
"descenso doble". El artículo muestra empíricamente que (1) el riesgo (es decir,
el valor esperado del error en datos de testeo) puede crecer arbitrariamente en
función del número de parámetros, obteniendo un pico cuando el número de
parámetros p es cercano al número de muestras n, y (2) el riesgo es decreciente
con el número de parámetros en el régimen p>n, incluso con valores menores que
los obtenidos con menos parámetros que muestras. Este fenómeno tiene una
explicación simple para regresiones lineales y puede ser evitado con
regularización.   En esta charla explicaré el fenómeno de descenso doble, y un
trabajo reciente donde proveemos cotas no asintóticas para el riesgo cuando los
datos son pre-procesados con reducción a componentes principales. Si el tiempo
es suficiente mostraremos un ejemplo donde considerar un número creciente de
parámetros es equivalente a utilizar un modelo basado en procesos gaussianos.
--------------------------------------------------------------------------------
Viernes 18/6 a las 10:30, zoom

Contacto: Alejandro Cholaquidis - acholaquidis en hotmail.com
--------------------------------------------------------------------------------
https://salavirtual-udelar.zoom.us/j/89466045708 ID de reunión: 894 6604 5708

sin pasword

Canal de youtube:

https://www.youtube.com/channel/UCOPZEOrLSAYPz2qCAL-KqMg/about
--------------------------------------------------------------------------------
Más seminarios en: http://www.cmat.edu.uy/seminarios
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://www.cmat.edu.uy/pipermail/seminario-probabilidad-estadistica/attachments/20210616/6616add4/attachment.html>