<div style="max-width:40em;text-align:justify;">                
                <h2 style="font-size:1.2em;">Seminario de Probabilidad y Estadística</h2>
                <h3 style="font-size:1em;">Título: <em>Online RL for infinite state space problems</em></h3>
                <h3 style="font-size:1em;">Expositor: Vittorio Puricelli <span style="font-weight:400;">(LAAS-CNRS, Francia)</span></h3>
                <div style="font-size:1em!important;"><div dir="ltr"><b>Resumen: </b>
<div class="gmail_default">For infinite space problems, classical reinforcement learning (RL) algorithms can fail to converge due to unstable behavior. In this talk, we present a path toward addressing this problem and obtaining converge guarantees.<br/><br/>We will start by introducing the fundamental concepts from Markov decision process theory, focusing on the expected discounted cost problem. We then move on to online RL methods, with a particular emphasis on the Q-learning algorithm.<br/><br/>We comment on the convergence of Q-learning for finite state space problems. We argue then that the convergence can be extended for infinite state spaces under certain stability assumptions.<br/><br/>Next, we present a recent result where we show that Q-learning by itself can fail to promote stability, and that an stabilizing scheme is needed to ensure convergence. We will outline the key ideas of the proof of this last result and discuss connections to self-interacting random walk models.<br/><br/>We will end by discussing work in progress in which we aim to develop an online stabilizing scheme that guarantees convergence of Q-learning.</div>
</div></div>                
                <hr>
                <p style="font-size:1em;"><b>Viernes 27/3 a las 10:30</b><br>
                    <b>FCEA: Salón 1 del EIP (entrada por Lauro Müller)</b>
                </p>
                <p style="font-size:1em;"><b>Contacto: </b>Laura Aspirot - <a href="mailto:laspirot@gmail.com">laspirot@gmail.com</a></p>              
                <hr>  
                <p><span>https://salavirtual-udelar.</span><span>zoom.us/j/87033011104?pwd=</span><span>qnKGw4syp4Izilf5QekV7Ama7oyjXZ</span><span>.1</span></p><hr>
                Más seminarios en: <a href="http://www.cmat.edu.uy/seminarios">http://www.cmat.edu.uy/seminarios</a>

            </div>